commit (DataSourceStreamWriter)
Confirme este microbatch com uma lista de mensagens commit .
Este método é invocado no driver quando todas as tarefas são executadas com sucesso. As mensagens de commit são coletadas da chamada do método write() de cada tarefa e passadas para este método. A implementação deve usar as mensagens commit para commit o microbatch no coletor de transmissão.
Sintaxe
commit(messages: List[Optional[WriterCommitMessage]], batchId: int)
Parâmetros
Parâmetro | Tipo | Descrição |
|---|---|---|
| lista de WriterCommitMessage | Uma lista de mensagens de commit. Se uma tarefa de escrita falhar, a mensagem commit será |
| int | Um número inteiro que identifica de forma única um lote de dados que está sendo gravado. O número inteiro aumenta em 1 a cada microlote processado. |