clusterBy (DataFrameWriter)

Clusters les données par les colonnes données pour optimiser les performances des queries.

Syntaxe

clusterBy(*cols)

parameter

parameter	Type	Description
*cols	str ou list	Noms des colonnes à regrouper.

parameter	Type	Description
*cols	str ou list	Noms des colonnes à regrouper.

Renvoie

DataFrameWriter

Exemples

Écrire un DataFrame dans un fichier Parquet avec clustering.

Python

import tempfile
with tempfile.TemporaryDirectory(prefix="clusterBy") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}, {"age": 120, "name": "Ruifeng Zheng"}]
    ).write.clusterBy("name").mode("overwrite").format("parquet").save(d)