Engenharia de dados com Databricks
Databricks fornece um rico conjunto de recursos de engenharia de dados que inclui um ambiente robusto para colaboração entre data scientists, engenheiros e analistas. No centro dele estão os pipelines que ingerem e transformam os dados. Para facilitar a engenharia do pipeline mais eficiente, o site Databricks oferece transmissão estruturada e DLT. Consulte a transmissão em Databricks e What is DLT?
Para obter uma visão geral de por que o processamento de transmissão incremental de dados fornecido pela transmissão estruturada e pela DLT é a melhor opção para o pipeline de dados, consulte Como criar um pipeline de dados simples, eficiente e de baixa latência.
Dados adicionais engenharia recurso
Databricks fornece recurso para engenharia de dados tarefa para muitos cenários adicionais:
- Databricks Os notebooks são uma ferramenta popular para colaboração.
- Programar e orquestrar seu fluxo de trabalho usando Databricks Jobs.
- Consulte o Databricks Mosaic AI se o senhor estiver arquitetando soluções de aprendizado de máquina.
Se o senhor trabalha principalmente com consultas SQL e ferramentas de BI, consulte Databricks SQL.
Para obter um tutorial do Getting Come e informações introdutórias, consulte Get Come with Databricks e What is Databricks?
Nome | Use isso quando quiser... |
|---|---|
Saiba como criar um pipeline de dados para ingestão e transformações com o Databricks DLT. | |
Saiba mais sobre cargas de trabalho de streaming, incrementais e em tempo real impulsionadas pelo Structured Streaming no Databricks. |