聚合函数：返回由分隔符分隔的不同非 null 输入值的串联。
Syntax
import pyspark.sql.functions as sf
sf.listagg_distinct(col=<col>)
# With delimiter
sf.listagg_distinct(col=<col>, delimiter=<delimiter>)
参数
| 参数 | 类型 | Description |
|---|---|---|
col |
pyspark.sql.Column 或 str |
要计算的目标列。 |
delimiter |
pyspark.sql.Column、str 或 bytes |
可选。 用于分隔值的分隔符。 默认值为 None。 |
退货
pyspark.sql.Column：计算结果的列。
例子
示例 1：使用 listagg_distinct 函数。
import pyspark.sql.functions as sf
df = spark.createDataFrame([('a',), ('b',), (None,), ('c',), ('b',)], ['strings'])
df.select(sf.listagg_distinct('strings')).show()
+-------------------------------+
|listagg(DISTINCT strings, NULL)|
+-------------------------------+
| abc|
+-------------------------------+
示例 2：对分隔符使用 listagg_distinct 函数。
import pyspark.sql.functions as sf
df = spark.createDataFrame([('a',), ('b',), (None,), ('c',), ('b',)], ['strings'])
df.select(sf.listagg_distinct('strings', ', ')).show()
+-----------------------------+
|listagg(DISTINCT strings, , )|
+-----------------------------+
| a, b, c|
+-----------------------------+
示例 3：将 listagg_distinct 函数与二进制列和分隔符配合使用。
import pyspark.sql.functions as sf
df = spark.createDataFrame([(b'\x01',), (b'\x02',), (None,), (b'\x03',), (b'\x02',)],
['bytes'])
df.select(sf.listagg_distinct('bytes', b'\x42')).show()
+------------------------------+
|listagg(DISTINCT bytes, X'42')|
+------------------------------+
| [01 42 02 42 03]|
+------------------------------+
示例 4：对包含所有 None 值的列使用 listagg_distinct 函数。
import pyspark.sql.functions as sf
from pyspark.sql.types import StructType, StructField, StringType
schema = StructType([StructField("strings", StringType(), True)])
df = spark.createDataFrame([(None,), (None,), (None,), (None,)], schema=schema)
df.select(sf.listagg_distinct('strings')).show()
+-------------------------------+
|listagg(DISTINCT strings, NULL)|
+-------------------------------+
| NULL|
+-------------------------------+