Spark Declarative Pipelines no Lakeflow
O Apache Spark™ Declarative Pipelines é uma estrutura declarativa para a criação de pipelines de dados em lote e de transmissão em SQL e Python. Os LakeFlow Pipelines são criados sobre o Apache Spark Declarative Pipelines e são interoperáveis com ele. Eles o estendem com funcionalidades adicionais e são executados no Databricks Runtime com desempenho otimizado. Os casos de uso comuns para pipelines incluem ingestão de dados de fontes como armazenamento em nuvem (como Amazon S3, Azure ADLS Gen2 e Google Cloud Storage) e barramentos de mensagens (como Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub e Apache Pulsar), e transformações incrementais em lote e de streaming.
Os tópicos a seguir ajudam você a começar a usar pipelines.
-
- Como usar LakeFlow Pipelines
- Comece aqui. Entenda como usar pipelines ao longo de seu ciclo de vida, e por que, com links para as tarefas em cada etapa.
-
- Conceitos de Pipeline
- Saiba mais sobre os conceitos de alto nível de pipelines, incluindo fluxos, tabelas de transmissão e visualizações materializadas.
Para obter informações mais detalhadas sobre pipelines, consulte:
-
- Tutoriais
- Siga o tutorial para obter experiência prática no uso do pipeline.
-
- Desenvolver pipelines
- Aprenda a desenvolver e testar pipelines que criam fluxos para ingestão e transformação de dados.
-
- Configurar pipeline
- Aprenda a programar e configurar pipeline.
-
- Monitorar pipelines
- Aprenda a monitorar seu pipeline e solucionar problemas de consultas pipeline .
-
- Desenvolvedores
- Aprenda a usar Python e SQL no desenvolvimento de pipelines.
-
- Pipelines autônomos
- Saiba como criar tabelas de transmissão autônomas e visualizações materializadas no Databricks SQL ou Python.
-
- Práticas recomendadas
- Aprenda padrões recomendados para construir um pipeline confiável, eficiente e de fácil manutenção.