Configurar transmissão fonte de dados
Databricks pode se integrar com o serviço de transmissão de mensagens para a ingestão quase em tempo real no site Databricks lakehouse. Databricks também pode sincronizar dados enriquecidos e transformados no site lakehouse com outros sistemas de transmissão.
A transmissão estruturada fornece acesso nativo aos formatos de arquivo suportados pelo Apache Spark, mas o Databricks recomenda o Auto Loader para a maioria das operações de transmissão estruturada que leem dados do armazenamento de objetos na nuvem. Consulte O que é o Auto Loader?
A ingestão de mensagens de transmissão para Delta Lake permite que o senhor retenha as mensagens indefinidamente, possibilitando a reprodução da transmissão de dados sem medo de perder dados devido ao limite de retenção.
Para saber mais sobre configurações específicas para transmissão de filas de mensagens, consulte: