transmissão on Databricks
Você pode usar o Databricks para ingestão, processamento, aprendizado de máquina e IA de dados quase em tempo real para transmissão de dados.
Databricks oferece várias otimizações para transmissão e processamento incremental, incluindo o seguinte:
- O DLT fornece sintaxe declarativa para processamento incremental. Consulte O que é DLT? .
- O Auto Loader simplifica a ingestão incremental do armazenamento de objetos na nuvem. Consulte O que é o Auto Loader?
- Unity Catalog adiciona governança de dados às cargas de trabalho de transmissão. Consulte Uso do site Unity Catalog com transmissão estruturada.
O Delta Lake fornece a camada de armazenamento para essas integrações. Consulte Delta tabela de leituras e gravações de transmissão.
- Tutorial
- Conceitos
- Transmissão com estado
- Aplicativos personalizados com estado
- Considerações de produção
- Monitorar transmissão
- Integração com o Unity Catalog
- Transmissão com Delta
- Exemplos
Databricks tem recurso específico para trabalhar com campos de dados semiestruturados contidos em Avro, buffers de protocolo e cargas de dados de JSON. Para saber mais, consulte:
- Transmissão de leitura e gravação Avro data
- Ler e gravar buffers de protocolo
- Consultar strings JSON
Recurso adicional
Apache Spark oferece um Guia de programação de transmissão estruturada que contém mais informações sobre transmissão estruturada.
Para obter informações de referência sobre transmissão estruturada, o Databricks recomenda as seguintes referências do Apache Spark API: