array_agg

Retorna uma lista de objetos com duplicados.

Sintaxe

Python

from pyspark.sql import functions as sf

sf.array_agg(col)

Parâmetros

Parâmetro	Tipo	Descrição
col	pyspark.sql.Column ou nome da coluna	coluna de destino para compute .

Devoluções

pyspark.sql.ColumnLista de objetos com duplicados.

Exemplos

Exemplo 1 : Usando a função array_agg em uma coluna do tipo int

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame([[1],[1],[2]], ["c"])
df.agg(sf.sort_array(sf.array_agg('c')).alias('sorted_list')).show()

Output

+-----------+
|sorted_list|
+-----------+
|  [1, 1, 2]|
+-----------+

Exemplo 2 : Usando a função array_agg em uma coluna de strings

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame([["apple"],["apple"],["banana"]], ["c"])
df.agg(sf.sort_array(sf.array_agg('c')).alias('sorted_list')).show(truncate=False)

Output

+----------------------+
|sorted_list           |
+----------------------+
|[apple, apple, banana]|
+----------------------+

Exemplo 3 : Usando a função array_agg em uma coluna com valores nulos

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame([[1],[None],[2]], ["c"])
df.agg(sf.sort_array(sf.array_agg('c')).alias('sorted_list')).show()

Output

+-----------+
|sorted_list|
+-----------+
|     [1, 2]|
+-----------+

Exemplo 4 : Usando a função array_agg em uma coluna com diferentes tipos de dados

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame([[1],["apple"],[2]], ["c"])
df.agg(sf.sort_array(sf.array_agg('c')).alias('sorted_list')).show()

Output

+-------------+
|  sorted_list|
+-------------+
|[1, 2, apple]|
+-------------+