Limitações do Conector RabbitMQ

info

Beta

Este recurso está em Beta. Os administradores do espaço de trabalho podem controlar o acesso a esse recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Esta página lista limitações e considerações para ingestão de dados do RabbitMQ usando o Databricks LakeFlow Connect.

Dados compatíveis

O Conector RabbitMQ ingere mensagens de uma ou mais filas clássicas do RabbitMQ. A fila a ser consumida é especificada usando a opção de conector queue. Cada fila é ingerida em sua própria tabela de transmissão de destino.

Limitações específicas do conector

• Somente o corpo da mensagem decodificado e as colunas de metadados são gravados na tabela de destino. Campos internos do corretor além desses não são expostos.
• O conector suporta autenticação por nome de usuário e senha. Não há suporte para outros métodos de autenticação.
• Tabelas de destino são somente anexadas. Upserts e exclusões não são suportados. SCD tipo 1 e SCD tipo 2 não são compatíveis porque as filas clássicas do RabbitMQ não fornecem um ID de mensagem único garantido.
• Cada pipeline usa uma única conexão do Unity Catalog (um broker RabbitMQ). Para ingerir de vários brokers, criar pipelines separados.
• Transmissões do RabbitMQ não são compatíveis.
• O conector RabbitMQ gerenciado executa exclusivamente em compute serverless. Os pipelines de compute clássico não são suportados.
• Duplicatas podem ocorrer após a recuperação de falhas ou o reenvio de mensagens. Caso seja necessário, realizar a duplicação downstream.
• A ordem FIFO por fila é o melhor possível com um único consumidor. Com os consumidores paralelos do conector, as mensagens podem chegar fora de ordem.
• O pipeline é executado continuamente. Trigger.AvailableNow e programação baseada em fluxo de trabalho não são suportados.