particionamento.horas
Uma transformação de timestamps para particionar dados em horas.
nota
Esta função só pode ser usada em combinação com o método DataFrameWriterV2.partitionedBy .
Sintaxe
Python
from pyspark.sql.functions import partitioning
partitioning.hours(col)
Parâmetros
Parâmetro | Tipo | Descrição |
|---|---|---|
|
| Coluna de data ou hora de destino na qual trabalhar. |
Exemplos
Python
from pyspark.sql.functions import partitioning
df.writeTo("catalog.db.table").partitionedBy(
partitioning.hours("ts")
).createOrReplace()