Sumidouros no pipeline declarativo LakeFlow Spark

Por default , ao criar um fluxo, seu pipeline grava a consulta resultante em uma tabela Delta , normalmente uma view materializada ou uma tabela de transmissão. O pipeline também oferece funcionalidades que permitem escrever para uma ampla variedade de destinos, ou até mesmo transformar e transmitir dados programaticamente para qualquer alvo (ou alvos) em que você possa escrever com Python.

Os tópicos a seguir descrevem a funcionalidade de coletor (sink) no pipeline.

tópico	Descrição
Sumidouros de pipeline declarativos LakeFlow Spark	Use a API `sink` com fluxos para gravar registros transformados por um pipeline em um coletor de dados externo compatível. Os destinos de dados externos incluem Unity Catalog , tabelas externas e serviços de transmissão de eventos como Apache Kafka ou Azure Event Hubs.
Sinos personalizados em Python	Use a API `sink` com uma fonte de dados personalizada Python para escrever em um armazenamento de dados arbitrário.
sumidouros ForEachBatch	Use a API `foreachBatch` para gravar em um armazenamento de dados arbitrário e realizar outras transformações nos dados ou gravar em vários destinos dentro de um único fluxo.

Mais informações​

Mais informações