concat
Fonction de collection : concatène plusieurs colonnes d'entrée en une seule colonne. La fonction fonctionne avec des chaînes, des colonnes numériques, binaires et de tableau compatibles. Prend en charge Spark Connect.
Pour la fonction Databricks SQL correspondante, consultez la fonctionconcat.
Syntaxe
Python
from pyspark.sql import functions as dbf
dbf.concat(*cols)
parameter
parameter | Type | Description |
|---|---|---|
|
| Colonne ou colonnes cibles sur lesquelles travailler. |
Renvoie
pyspark.sql.Column: valeurs concaténées. Le type du Column dépend du type des colonnes d'entrée.
Exemples
Exemple 1 : Concaténation des colonnes de chaîne
Python
from pyspark.sql import functions as dbf
df = spark.createDataFrame([('abcd','123')], ['s', 'd'])
df.select(dbf.concat(df.s, df.d)).show()
Output
+------------+
|concat(s, d)|
+------------+
| abcd123|
+------------+
**Exemple 2** : Concaténation des colonnes de tableau
Python
from pyspark.sql import functions as dbf
df = spark.createDataFrame([([1, 2], [3, 4], [5]), ([1, 2], None, [3])], ['a', 'b', 'c'])
df.select(dbf.concat(df.a, df.b, df.c)).show()
Output
+---------------+
|concat(a, b, c)|
+---------------+
|[1, 2, 3, 4, 5]|
| NULL|
+---------------+