ler (DataSourceStreamReader)
Gera dados para uma determinada partição e retorna um iterador de tuplas ou linhas.
Este método é invocado uma vez por partição para ler os dados. A implementação deste método é necessária para os leitores de transmissões. Você pode inicializar qualquer recurso não serializável necessário para ler dados da fonte de dados dentro deste método.
Adicionado no Databricks Runtime 15.2
Sintaxe
read(partition: InputPartition)
Parâmetros
Parâmetro | Tipo | Descrição |
|---|---|---|
| Partição de entrada | A partição a ser lida. Deve ser um dos valores de partição retornados por |
Devoluções
Iterator[Tuple] ou Iterator[RecordBatch]
Um iterador de tuplas ou linhas. Cada tupla ou linha será convertida em uma linha no DataFrame final. Também pode retornar um iterador de objetos PyArrow RecordBatch se a fonte de dados o suportar.
Notas
Este método é estático e não possui estado. Não acesse membros de classe mutáveis ou mantenha estado na memória entre diferentes invocações de read().