ポスエクスプロード

指定された配列またはマップ内の位置にある各要素の新しい行を返します。特に指定がない限り、位置にはデフォルトの列名posを使用し、配列内の要素にはcol 、マップ内の要素にはkeyとvalue使用します。

構文

Python

from pyspark.sql import functions as sf

sf.posexplode(col)

パラメーター

パラメーター	Type	説明
col	pyspark.sql.Column または列名	取り組むターゲットカラム。

戻り値

pyspark.sql.Column: 配列項目またはマップキー値ごとに 1 行 (位置は別個の列として含む)。

例

例1 : 配列の列を展開する

Python

from pyspark.sql import functions as sf
df = spark.sql('SELECT * FROM VALUES (1,ARRAY(1,2,3,NULL)), (2,ARRAY()), (3,NULL) AS t(i,a)')
df.show()

Output

+---+---------------+
|  i|              a|
+---+---------------+
|  1|[1, 2, 3, NULL]|
|  2|             []|
|  3|           NULL|
+---+---------------+

Python

df.select('*', sf.posexplode('a')).show()

Output

+---+---------------+---+----+
|  i|              a|pos| col|
+---+---------------+---+----+
|  1|[1, 2, 3, NULL]|  0|   1|
|  1|[1, 2, 3, NULL]|  1|   2|
|  1|[1, 2, 3, NULL]|  2|   3|
|  1|[1, 2, 3, NULL]|  3|NULL|
+---+---------------+---+----+

例2 : マップ列の展開

Python

from pyspark.sql import functions as sf
df = spark.sql('SELECT * FROM VALUES (1,MAP(1,2,3,4,5,NULL)), (2,MAP()), (3,NULL) AS t(i,m)')
df.show(truncate=False)

Output

+---+---------------------------+
|i  |m                          |
+---+---------------------------+
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|
|2  |{}                         |
|3  |NULL                       |
+---+---------------------------+

Python

df.select('*', sf.posexplode('m')).show(truncate=False)

Output

+---+---------------------------+---+---+-----+
|i  |m                          |pos|key|value|
+---+---------------------------+---+---+-----+
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|0  |1  |2    |
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|1  |3  |4    |
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|2  |5  |NULL |
+---+---------------------------+---+---+-----+