DLT
DLT é uma estrutura para criar lotes e pipeline de transmissão de dados em SQL e Python. Os casos de uso comuns para DLT incluem a ingestão de dados de fontes como armazenamento em nuvem (como Amazon S3, Azure ADLS Gen2 e Google Cloud Storage) e barramentos de mensagens (como Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub e Apache Pulsar), além de lotes incrementais e transformações de transmissão.
Esta seção fornece informações detalhadas sobre o uso do site DLT. Os tópicos a seguir o ajudarão a começar.
tópico | Descrição |
|---|---|
Conheça os conceitos de alto nível do site DLT, incluindo pipeline, fluxos, tabelas de transmissão e visualização materializada. | |
Siga o tutorial para obter experiência prática com o uso do site DLT. | |
Saiba como desenvolver e testar pipelines que criam fluxos para ingestão e transformação de dados. | |
Saiba como programar e configurar o pipeline. | |
Saiba como monitorar seu pipeline e solucionar problemas de pipeline queries. | |
Saiba como usar Python e SQL ao desenvolver o pipeline DLT. | |
DLT para Databricks SQL | Saiba como usar DLT as tabelas de transmissão e a visualização materializada em Databricks SQL em. |