Engenharia de dados com Databricks

Databricks fornece um rico conjunto de recursos de engenharia de dados que inclui um ambiente robusto para colaboração entre data scientists, engenheiros e analistas. No centro dele estão os pipelines que ingerem e transformam os dados. Para facilitar a engenharia da tubulação mais eficiente, o site Databricks oferece transmissão estruturada e Delta Live Tables. Veja a transmissão em Databricks e o que é Delta Live Tables?

Para obter uma visão geral do motivo pelo qual o processamento de transmissão incremental dos dados fornecidos pela transmissão estruturada e pelo site Delta Live Tables é a melhor opção para o pipeline de dados, consulte Por que o processamento de transmissão incremental?

Dados adicionais engenharia recurso

Databricks fornece recurso para engenharia de dados tarefa para muitos cenários adicionais:

• Databricks Os notebooks são uma ferramenta popular para colaboração.

• Programar e orquestrar seu fluxo de trabalho usando Databricks Jobs.

• Veja Databricks Mosaic AI se o senhor estiver arquitetando machine learning soluções.

Observação

Se o senhor trabalha principalmente com consultas SQL e ferramentas de BI, consulte Databricks SQL.

Para obter um tutorial do Getting Come e informações introdutórias, consulte Get Come with Databricks e What is Databricks?

• Delta Live Tables

  Saiba como criar pipelines de dados para ingestão e transformação com tabelas ao vivo do Databricks Delta.

• Transmissão estruturada

  Saiba mais sobre cargas de trabalho de streaming, incrementais e em tempo real impulsionadas pelo Structured Streaming no Databricks.