explode

Renvoie une nouvelle ligne pour chaque élément du tableau ou de la carte donné(e). Utilise le nom de colonne default col pour les éléments du tableau et key et value pour les éléments de la carte, sauf indication contraire.

remarque

Une seule fonction explode est autorisée par clause SELECT.

Syntaxe

Python
from pyspark.sql import functions as sf

sf.explode(col)

parameter

parameter	Type	Description
`col`	`pyspark.sql.Column` ou nom de colonne	Colonne cible sur laquelle travailler.

Renvoie

pyspark.sql.Column: Une ligne par élément de tableau ou valeur de clé de carte.

Exemples

Exemple 1 : Exposer une colonne de tableau

Python
from pyspark.sql import functions as sf
df = spark.sql('SELECT * FROM VALUES (1,ARRAY(1,2,3,NULL)), (2,ARRAY()), (3,NULL) AS t(i,a)')
df.show()

Output
+---+---------------+
|  i|              a|
+---+---------------+
|  1|[1, 2, 3, NULL]|
|  2|             []|
|  3|           NULL|
+---+---------------+

Python
df.select('*', sf.explode('a')).show()

Output
+---+---------------+----+
|  i|              a| col|
+---+---------------+----+
|  1|[1, 2, 3, NULL]|   1|
|  1|[1, 2, 3, NULL]|   2|
|  1|[1, 2, 3, NULL]|   3|
|  1|[1, 2, 3, NULL]|NULL|
+---+---------------+----+

Exemple 2 : Éclatement d'une colonne de type map

Python
from pyspark.sql import functions as sf
df = spark.sql('SELECT * FROM VALUES (1,MAP(1,2,3,4,5,NULL)), (2,MAP()), (3,NULL) AS t(i,m)')
df.show(truncate=False)

Output
+---+---------------------------+
|i  |m                          |
+---+---------------------------+
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|
|2  |{}                         |
|3  |NULL                       |
+---+---------------------------+

Python
df.select('*', sf.explode('m')).show(truncate=False)

Output
+---+---------------------------+---+-----+
|i  |m                          |key|value|
+---+---------------------------+---+-----+
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|1  |2    |
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|3  |4    |
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|5  |NULL |
+---+---------------------------+---+-----+

Exemple 3 : Éclatement de plusieurs colonnes de tableaux

Python
import pyspark.sql.functions as sf
df = spark.sql('SELECT ARRAY(1,2) AS a1, ARRAY(3,4,5) AS a2')
df.select(
    '*', sf.explode('a1').alias('v1')
).select('*', sf.explode('a2').alias('v2')).show()

Output
+------+---------+---+---+
|    a1|       a2| v1| v2|
+------+---------+---+---+
|[1, 2]|[3, 4, 5]|  1|  3|
|[1, 2]|[3, 4, 5]|  1|  4|
|[1, 2]|[3, 4, 5]|  1|  5|
|[1, 2]|[3, 4, 5]|  2|  3|
|[1, 2]|[3, 4, 5]|  2|  4|
|[1, 2]|[3, 4, 5]|  2|  5|
+------+---------+---+---+

Exemple 4 : Explosion d'un tableau de colonne struct

Python
import pyspark.sql.functions as sf
df = spark.sql('SELECT ARRAY(NAMED_STRUCT("a",1,"b",2), NAMED_STRUCT("a",3,"b",4)) AS a')
df.select(sf.explode('a').alias("s")).select("s.*").show()

Output
+---+---+
|  a|  b|
+---+---+
|  1|  2|
|  3|  4|
+---+---+

Syntaxe​

parameter​

Renvoie​

Exemples​

Syntaxe

parameter

Renvoie

Exemples