compartiment
Fonction de transformation de partition : une transformation pour tout type qui partitionne par un hachage de la colonne d'entrée. Prend en charge Spark Connect.
attention
Obsolète dans la version 4.0.0. Utilisez partitioning.bucket au lieu de.
Syntaxe
Python
from pyspark.sql import functions as dbf
dbf.bucket(numBuckets=<numBuckets>, col=<col>)
parameter
parameter | Type | Description |
|---|---|---|
|
| Le nombre de compartiments. |
|
| Ciblez la colonne de date ou de Timestamp sur laquelle travailler. |
Renvoie
pyspark.sql.Column: Données partitionnées par les colonnes données.
Exemples
Python
df.writeTo("catalog.db.table").partitionedBy(
bucket(42, "ts")
).createOrReplace()
remarque
Cette fonction peut être utilisée uniquement en combinaison avec la méthode partitionedBy du DataFrameWriterV2.