partitions (DataSourceStreamReader)
Renvoie une liste de InputPartition objets étant donnés les décalages de start et de fin.
Chaque InputPartition représente une division de données qui peut être traitée par une tâche Spark. Lorsque cette méthode est appelée avec une plage de décalage vide où start == end, elle doit renvoyer une séquence vide.
Ajouté dans Databricks Runtime 15.2
Syntaxe
partitions(start: dict, end: dict)
parameter
parameter | Type | Description |
|---|---|---|
| dict | Le start offset du micro-lot pour planifier le partitionnement. |
| dict | Le décalage de fin du microbatch pour planifier le partitionnement. |
Renvoie
Sequence[InputPartition]
Une séquence de partitions pour cette source de données. Chaque valeur de partition doit être une instance de InputPartition ou une sous-classe de celle-ci.