LakeFlow Pipeline declarativo
LakeFlow O pipeline declarativo é uma estrutura para criar lotes e pipeline de transmissão de dados em SQL e Python. Casos de uso comuns para o pipeline declarativo LakeFlow incluem a ingestão de dados de fontes como armazenamento em nuvem (como Amazon S3, Azure ADLS Gen2 e Google Cloud Storage) e barramentos de mensagens (como Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub e Apache Pulsar), além de lotes incrementais e transformações de transmissão.
Esta seção fornece informações detalhadas sobre o uso do pipeline declarativo LakeFlow. Os tópicos a seguir o ajudarão a começar.
tópico | Descrição |
|---|---|
Conheça os conceitos de alto nível do pipeline declarativo LakeFlow, incluindo pipeline, fluxos, tabelas de transmissão e visualização materializada. | |
Siga o tutorial para obter experiência prática com o uso do pipeline declarativo LakeFlow. | |
Saiba como desenvolver e testar pipelines que criam fluxos para ingestão e transformação de dados. | |
Saiba como programar e configurar o pipeline. | |
Saiba como monitorar seu pipeline e solucionar problemas de pipeline queries. | |
Saiba como usar Python e SQL ao desenvolver LakeFlow Declarative pipeline. | |
Saiba mais sobre como usar LakeFlow Tabelas de transmissão de pipeline declarativo e visualização materializada em Databricks SQL. |