横方向結合

指定された結合式を使用して、別のDataFrameと横方向結合を行います。

構文

lateralJoin(other: "DataFrame", on: Optional[Column] = None, how: Optional[str] = None)

パラメーター

パラメーター	Type	説明
other	データフレーム	接合部の右側。
on	列（オプション）	結合式（列）。
how	文字列、オプション	デフォルトはinner 。inner 、 cross 、 left 、 leftouter 、 left_outerのいずれかである必要があります。

戻り値

DataFrame: 結合されたDataFrame 。

注意

横方向結合（相関結合とも呼ばれる）は、1 つのDataFrameの各行がサブクエリまたは派生テーブルへの入力として使用され、その行に固有の結果を返すタイプの結合です。 右側DataFrame左側DataFrameの現在の行の列を参照できるため、標準的な結合よりも複雑でコンテキストに依存する結果が得られます。

例

Python

from pyspark.sql import functions as sf
from pyspark.sql import Row
customers_data = [
    Row(customer_id=1, name="Alice"), Row(customer_id=2, name="Bob"),
    Row(customer_id=3, name="Charlie"), Row(customer_id=4, name="Diana")
]
customers = spark.createDataFrame(customers_data)
orders_data = [
    Row(order_id=101, customer_id=1, order_date="2024-01-10",
        items=[Row(product="laptop", quantity=5), Row(product="mouse", quantity=12)]),
    Row(order_id=102, customer_id=1, order_date="2024-02-15",
        items=[Row(product="phone", quantity=2), Row(product="charger", quantity=15)]),
    Row(order_id=105, customer_id=1, order_date="2024-03-20",
        items=[Row(product="tablet", quantity=4)]),
    Row(order_id=103, customer_id=2, order_date="2024-01-12",
        items=[Row(product="tablet", quantity=8)]),
    Row(order_id=104, customer_id=2, order_date="2024-03-05",
        items=[Row(product="laptop", quantity=7)]),
    Row(order_id=106, customer_id=3, order_date="2024-04-05",
        items=[Row(product="monitor", quantity=1)]),
]
orders = spark.createDataFrame(orders_data)

customers.join(orders, "customer_id").lateralJoin(
    spark.tvf.explode(sf.col("items").outer()).select("col.*")
).select(
    "customer_id", "name", "order_id", "order_date", "product", "quantity"
).orderBy("customer_id", "order_id", "product").show()
# +-----------+-------+--------+----------+-------+--------+
# |customer_id|   name|order_id|order_date|product|quantity|
# +-----------+-------+--------+----------+-------+--------+
# |          1|  Alice|     101|2024-01-10| laptop|       5|
# |          1|  Alice|     101|2024-01-10|  mouse|      12|
# ...
# +-----------+-------+--------+----------+-------+--------+