マップ連結

指定されたすべてのマップの結合を返します。入力マップ内の重複キーの場合、処理はspark.sql.mapKeyDedupPolicyによって制御されます。デフォルトでは例外がスローされます。LAST_WINに設定すると、最後のマップの値が使用されます。

構文

Python

from pyspark.sql import functions as sf

sf.map_concat(*cols)

パラメーター

パラメーター	Type	説明
cols	pyspark.sql.Column または文字列	列名または列

戻り値

pyspark.sql.Column: 他のマップからのエントリを結合したマップ。

例

例1 : map_concatの基本的な使い方

Python

from pyspark.sql import functions as sf
df = spark.sql("SELECT map(1, 'a', 2, 'b') as map1, map(3, 'c') as map2")
df.select(sf.map_concat("map1", "map2")).show(truncate=False)

Output

+------------------------+
|map_concat(map1, map2)  |
+------------------------+
|{1 -> a, 2 -> b, 3 -> c}|
+------------------------+

例2 : 3つのマップを持つmap_concat

Python

from pyspark.sql import functions as sf
df = spark.sql("SELECT map(1, 'a') as map1, map(2, 'b') as map2, map(3, 'c') as map3")
df.select(sf.map_concat("map1", "map2", "map3")).show(truncate=False)

Output

+----------------------------+
|map_concat(map1, map2, map3)|
+----------------------------+
|{1 -> a, 2 -> b, 3 -> c}    |
+----------------------------+

例3 : 空のマップを使用したmap_concat

Python

from pyspark.sql import functions as sf
df = spark.sql("SELECT map(1, 'a', 2, 'b') as map1, map() as map2")
df.select(sf.map_concat("map1", "map2")).show(truncate=False)

Output

+----------------------+
|map_concat(map1, map2)|
+----------------------+
|{1 -> a, 2 -> b}      |
+----------------------+

例4 : null値を持つmap_concat

Python

from pyspark.sql import functions as sf
df = spark.sql("SELECT map(1, 'a', 2, 'b') as map1, map(3, null) as map2")
df.select(sf.map_concat("map1", "map2")).show(truncate=False)

Output

+---------------------------+
|map_concat(map1, map2)     |
+---------------------------+
|{1 -> a, 2 -> b, 3 -> NULL}|
+---------------------------+