Aller au contenu principal

partitions (DataSourceStreamReader)

Renvoie une liste de InputPartition objets étant donnés les décalages de start et de fin.

Chaque InputPartition représente une division de données qui peut être traitée par une tâche Spark. Lorsque cette méthode est appelée avec une plage de décalage vide où start == end, elle doit renvoyer une séquence vide.

Ajouté dans Databricks Runtime 15.2

Syntaxe

partitions(start: dict, end: dict)

parameter

parameter

Type

Description

start

dict

Le start offset du micro-lot pour planifier le partitionnement.

end

dict

Le décalage de fin du microbatch pour planifier le partitionnement.

parameter

Type

Description

start

dict

Le start offset du micro-lot pour planifier le partitionnement.

end

dict

Le décalage de fin du microbatch pour planifier le partitionnement.

Renvoie

Sequence[InputPartition]

Une séquence de partitions pour cette source de données. Chaque valeur de partition doit être une instance de InputPartition ou une sous-classe de celle-ci.