concat
Função de coleção: concatena várias colunas de entrada em uma única coluna. A função opera com colunas de strings, numéricas, binárias e de matrizes compatíveis. Compatível com Spark Connect.
Para a função Databricks SQL correspondente, consulte a funçãoconcat.
Sintaxe
Python
from pyspark.sql import functions as dbf
dbf.concat(*cols)
Parâmetros
Parâmetro | Tipo | Descrição |
|---|---|---|
|
| coluna de destino ou colunas para trabalhar. |
Devoluções
pyspark.sql.Column: valores concatenados. O tipo de Column depende do tipo das colunas de entrada.
Exemplos
Exemplo 1 : Concatenando colunas de strings
Python
from pyspark.sql import functions as dbf
df = spark.createDataFrame([('abcd','123')], ['s', 'd'])
df.select(dbf.concat(df.s, df.d)).show()
Output
+------------+
|concat(s, d)|
+------------+
| abcd123|
+------------+
Exemplo 2 : Concatenando colunas de matriz
Python
from pyspark.sql import functions as dbf
df = spark.createDataFrame([([1, 2], [3, 4], [5]), ([1, 2], None, [3])], ['a', 'b', 'c'])
df.select(dbf.concat(df.a, df.b, df.c)).show()
Output
+---------------+
|concat(a, b, c)|
+---------------+
|[1, 2, 3, 4, 5]|
| NULL|
+---------------+