Pipeline declarativoLakeFlow
LakeFlow Declarative pipeline é um framework para criação de lotes e transmissão de pipeline de dados em SQL e Python. Casos de uso comuns para o pipeline declarativo LakeFlow incluem coleta de dados de fontes como armazenamento cloud (como Amazon S3, Azure ADLS Gen2 e Google Cloud Storage) e barramentos de mensagens (como Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub e Apache Pulsar), além de lotes incrementais e transformações de transmissão.
Esta seção fornece informações detalhadas sobre o uso do pipeline declarativo LakeFlow . Os tópicos a seguir ajudarão você a começar.
tópico | Descrição |
|---|---|
Aprenda sobre os conceitos de alto nível do pipeline declarativo LakeFlow , incluindo pipeline, fluxos, tabelas de transmissão e visualização materializada. | |
Siga o tutorial para obter experiência prática com o uso do pipeline declarativo LakeFlow . | |
Aprenda a desenvolver e testar pipelines que criam fluxos para ingestão e transformação de dados. | |
Aprenda a programar e configurar pipeline. | |
Aprenda a monitorar seu pipeline e solucionar problemas de consultas pipeline . | |
Aprenda a usar Python e SQL ao desenvolver o pipeline declarativo LakeFlow . | |
Aprenda sobre o uso de tabelas de transmissão de pipeline declarativo LakeFlow e visualização materializada no Databricks SQL. |