Conectores de transmissão gerenciados

O Databricks Lakeflow Connect oferece conectores de transmissão totalmente gerenciados para a ingestão contínua de dados de barramentos de mensagens e fontes de transmissão de eventos em tabelas de transmissão. Cada conector gerencia a autenticação específica da origem, a decodificação de mensagens e o gerenciamento do ciclo de vida do pipeline por meio de uma configuração declarativa, portanto, não é preciso escrever código de transmissão estructurada diretamente.

Conectores suportados

• • RabbitMQ
  • Transmitir mensagens de filas clássicas do RabbitMQ para tabelas de transmissão.

Componentes do Conector

Um conector de transmissão tem os seguintes componentes:

Componente	Descrição
Conexão	Um objeto protegível do Unity Catalog que armazena o endpoint de origem e as credenciais de autenticação para sua origem de transmissão. O conector gerenciado usa esta conexão para autenticar sem exigir credenciais na configuração do pipeline.
Pipeline de ingestão	Um pipeline que lê continuamente mensagens da fonte de transmissão e grava os resultados em tabelas de transmissão. O pipeline executa em compute serverless.
Tabelas de destino	As tabelas de transmissão onde o pipeline de ingestão grava os dados.