Construir pipelines
Crie pipelines no LakeFlow Spark Declarative Pipelines carregando e transformando dados, aplicando verificações de qualidade de dados e gravando os resultados em suas tabelas de destino. Os tópicos a seguir abordam as tarefas envolvidas na criação e execução de pipelines.
Para aprender os conceitos declarativos por trás dos pipelines (datasets, fluxos e o gráfico de pipeline), consulte O que são Pipelines Declarativos do LakeFlow Spark. Para um passo a passo, consulte Tutorial: criar um pipeline ETL usando captura de dados de alterações (CDC).
tópico | Descrição |
|---|---|
Criar, executar e depurar pipelines no editor, com um gráfico de pipeline, pré-visualizações de dados e execução seletiva. | |
Gerar, editar e depurar código de pipeline a partir de um único prompt com o modo Agente do Genie Code no editor. | |
Controle a identidade que executa um pipeline e quem pode criar, executar, refresh e ver pipelines e sua saída. | |
Faça a ingestão de dados em seu pipeline de armazenamento de objetos em cloud e barramentos de mensagens de transmissão. | |
Aplique transformações, join e agregações para construir dataset derivados. | |
Reprocessar todos os dados de origem para reconstruir uma tabela de transmissão. | |
Validar registros com expectativas e controlar o que acontece quando um registro falha. | |
Grave os resultados de pipeline em coletores, como Apache Kafka e Hubs de Eventos do Azure, e use fluxos para gravar em destinos de transmissão. |
Recursos adicionais
- Otimize o processamento com estado com marcas d'água
- Atualização incremental para visualizações materializadas
- Acesso a visualizações materializadas e tabelas de transmissão usando sistemas externos
- Desenvolva e depure pipelines com um Notebook (legado)
- Desenvolva o código do pipeline em seu ambiente de desenvolvimento local
- Usar parâmetros com pipelines
- Converter um pipeline em um projeto de pacote
- Prepare seus dados para compliance com o GDPR