partições (DataSourceStreamReader)
Retorna uma lista de objetos InputPartition dados os deslocamentos inicial e final.
Cada InputPartition representa uma divisão de dados que pode ser processada por uma tarefa do Spark. Quando chamado com um intervalo de deslocamento vazio onde start == end, este método deve retornar uma sequência vazia.
Adicionado no Databricks Runtime 15.2
Sintaxe
partitions(start: dict, end: dict)
Parâmetros
Parâmetro | Tipo | Descrição |
|---|---|---|
| dicionário | O deslocamento inicial do microbatch para o particionamento do plano. |
| dicionário | O deslocamento final do microlote para o particionamento do plano. |
Devoluções
Sequence[InputPartition]
Uma sequência de partições para esta fonte de dados. Cada valor de partição deve ser uma instância de InputPartition ou uma subclasse dela.