diffusion
Marque un DataFrame comme suffisamment petit pour être utilisé dans les jointures de diffusion. Prend en charge Spark Connect.
Syntaxe
Python
from pyspark.sql import functions as dbf
dbf.broadcast(df=<df>)
parameter
parameter | Type | Description |
|---|---|---|
|
| DataFrame à marquer comme prêt pour la jointure de diffusion. |
Renvoie
pyspark.sql.DataFrame: DataFrame marqué comme prêt pour la jointure par diffusion.
Exemples
Python
from pyspark.sql import functions as dbf
df = spark.createDataFrame([1, 2, 3, 3, 4], "int")
df_small = spark.range(3)
df_b = dbf.broadcast(df_small)
df.join(df_b, df.value == df_small.id).show()
Output
+-----+---+
|value| id|
+-----+---+
| 1| 1|
| 2| 2|
+-----+---+