Pular para o conteúdo principal

partições (DataSourceStreamReader)

Retorna uma lista de objetos InputPartition dados os deslocamentos inicial e final.

Cada InputPartition representa uma divisão de dados que pode ser processada por uma tarefa do Spark. Quando chamado com um intervalo de deslocamento vazio onde start == end, este método deve retornar uma sequência vazia.

Adicionado no Databricks Runtime 15.2

Sintaxe

partitions(start: dict, end: dict)

Parâmetros

Parâmetro

Tipo

Descrição

start

dicionário

O deslocamento inicial do microbatch para o particionamento do plano.

end

dicionário

O deslocamento final do microlote para o particionamento do plano.

Devoluções

Sequence[InputPartition]

Uma sequência de partições para esta fonte de dados. Cada valor de partição deve ser uma instância de InputPartition ou uma subclasse dela.