balde

Função de transformação de partição: Uma transformação para qualquer tipo que particiona por um hash da coluna de entrada. Compatível com Spark Connect.

atenção

Obsoleto na versão 4.0.0. Use partitioning.bucket em vez disso.

Sintaxe

Python

from pyspark.sql import functions as dbf

dbf.bucket(numBuckets=<numBuckets>, col=<col>)

Parâmetros

Parâmetro	Tipo	Descrição
numBuckets	pyspark.sql.Column ou int	O número de baldes.
col	pyspark.sql.Column ou str	Coluna de data ou hora de destino na qual trabalhar.

Parâmetro	Tipo	Descrição
numBuckets	pyspark.sql.Column ou int	O número de baldes.
col	pyspark.sql.Column ou str	Coluna de data ou hora de destino na qual trabalhar.

Devoluções

pyspark.sql.ColumnDados particionados por colunas específicas.

Exemplos

Python

df.writeTo("catalog.db.table").partitionedBy(
    bucket(42, "ts")
).createOrReplace()

nota

Esta função só pode ser usada em combinação com o método partitionedBy do DataFrameWriterV2.