listagg_distinct

Função agregada: retorna a concatenação de valores de entrada distintos e não nulos, separados pelo delimitador.

Sintaxe

Python

import pyspark.sql.functions as sf

sf.listagg_distinct(col=<col>)

# With delimiter
sf.listagg_distinct(col=<col>, delimiter=<delimiter>)

Parâmetros

Parâmetro	Tipo	Descrição
col	pyspark.sql.Column ou str	coluna de destino para compute .
delimiter	pyspark.sql.Column, str, ou bytes	Opcional. O delimitador para separar os valores. O valor default é Nenhum.

Devoluções

pyspark.sql.Column: a coluna para resultados de cálculo.

Exemplos

Exemplo 1 : Usando a função listagg_distinct.

Python

import pyspark.sql.functions as sf
df = spark.createDataFrame([('a',), ('b',), (None,), ('c',), ('b',)], ['strings'])
df.select(sf.listagg_distinct('strings')).show()

Output

+-------------------------------+
|listagg(DISTINCT strings, NULL)|
+-------------------------------+
|                            abc|
+-------------------------------+

Exemplo 2 : Usando a função listagg_distinct com um delimitador.

Python

import pyspark.sql.functions as sf
df = spark.createDataFrame([('a',), ('b',), (None,), ('c',), ('b',)], ['strings'])
df.select(sf.listagg_distinct('strings', ', ')).show()

Output

+-----------------------------+
|listagg(DISTINCT strings, , )|
+-----------------------------+
|                      a, b, c|
+-----------------------------+

Exemplo 3 : Usando a função listagg_distinct com uma coluna binária e um delimitador.

Python

import pyspark.sql.functions as sf
df = spark.createDataFrame([(b'\x01',), (b'\x02',), (None,), (b'\x03',), (b'\x02',)],
                           ['bytes'])
df.select(sf.listagg_distinct('bytes', b'\x42')).show()

Output

+------------------------------+
|listagg(DISTINCT bytes, X'42')|
+------------------------------+
|              [01 42 02 42 03]|
+------------------------------+

Exemplo 4 : Usando a função listagg_distinct em uma coluna com todos os valores None.

Python

import pyspark.sql.functions as sf
from pyspark.sql.types import StructType, StructField, StringType
schema = StructType([StructField("strings", StringType(), True)])
df = spark.createDataFrame([(None,), (None,), (None,), (None,)], schema=schema)
df.select(sf.listagg_distinct('strings')).show()

Output

+-------------------------------+
|listagg(DISTINCT strings, NULL)|
+-------------------------------+
|                           NULL|
+-------------------------------+