commit (DataSourceStreamWriter)
Commits ce micro-lot avec une liste de messages de commit.
Cette méthode est invoquée sur le Driver lorsque toutes les tâches s'exécutent avec succès. Les messages de commit sont collectés à partir de l'appel de méthode write() de chaque tâche et transmis à cette méthode. L'implémentation doit utiliser les messages de commit pour commit le micro-lot dans le récepteur de streaming.
Syntaxe
commit(messages: List[Optional[WriterCommitMessage]], batchId: int)
parameter
parameter | Type | Description |
|---|---|---|
| liste de WriterCommitMessage | Une liste de messages de commit. Si une tâche d'écriture échoue, le message de commit sera |
| int | Un entier qui identifie de manière unique un batch de données en cours d'écriture. L'entier augmente de 1 à chaque micro-lot traité. |