Apache Spark Declarative Pipelines
Lakeflow pipelines são construídos sobre Apache Spark™ Declarative Pipelines (SDP). Lakeflow pipelines são executados no Databricks Runtime otimizado para desempenho e são interoperáveis com SDP. Como os pipelines são construídos em SDP, em vez de APIs proprietárias, o código de transformações que você escreve permanece portátil para outros Runtimes SDP.
O que é o Spark Declarative Pipelines?
Apache Spark Declarative Pipelines é uma estrutura declarativa para desenvolver e executar pipelines de dados em lotes e transmissão em SQL e Python. O SDP automatiza a orquestração e organiza as dependências entre os fluxos no seu pipeline. O SDP simplifica o desenvolvimento de ingestão e transformação, para que não seja necessário focar na mecânica da orquestração dos seus fluxos de trabalho de dados.
Casos de uso comuns para SDP incluem:
- Ingestão de dados em lotes de fontes como armazenamento em nuvem (Amazon S3, Azure ADLS Gen2 e Google Cloud Storage).
- Ingestão de dados incremental de barramentos de mensagens (como Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub e Apache Pulsar).
- Transformações incrementais em lotes e de transmissão com operadores sem estado e com estado.
Para mais detalhes sobre processamento declarativo de dados, consulte Processamento de dados procedural versus declarativo no Databricks.
Como os LakeFlow Pipelines estendem o SDP?
Os LakeFlow Pipelines compartilham o mesmo modelo de autoria declarativa que o SDP e adicionam recursos de produção como AUTO CDC, expectativas de qualidade de dados e um log de eventos consultável. Esta tabela compara os recursos que os LakeFlow Pipelines compartilham com o SDP e os recursos de produção que o Databricks adiciona. Para um mapeamento propriedade por propriedade entre a especificação do projeto SDP e a configuração do pipeline, consulte Referência de propriedades do pipeline.
Capacidade | SDP | LakeFlow Pipelines |
|---|---|---|
Pipelines declarativos em SQL e Python | ✓ | ✓ |
Tabelas de streaming | ✓ | ✓ |
Visualizações materializadas | ✓ | ✓ |
Exibições temporárias | ✓ | ✓ |
Fluxos de acréscimo | ✓ | ✓ |
Destinos (Delta, Apache Kafka e Azure Event Hubs) | ✓ | ✓ |
Orquestração automática e resolução de dependências | ✓ | ✓ |
Código de pipeline portável entre runtimes SDP | ✓ | ✓ |
AUTO CDC (SCD Tipo 1 e SCD Tipo 2) e AUTO CDC de Snapshot | — | ✓ |
— | ✓ | |
Logsde eventos consultáveis | — | ✓ |
Atualizar fluxos e | — | ✓ |
— | ✓ |