Limitações do conector Kafka

info

Beta

Este recurso está em Beta. Os administradores do espaço de trabalho podem controlar o acesso a esse recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Esta página lista limitações e considerações para a ingestão de dados do Apache Kafka usando o Databricks LakeFlow Connect.

Dados compatíveis

O conector Kafka ingere dados de um ou mais tópicos do Kafka. Você especifica quais tópicos devem ser ingeridos usando a opção de conector topics ou topic_pattern . Qualquer tópico acessível através da conexão Kafka pode ser ingerido.

Limitações específicas do conector

• **Colunas de metadados não disponíveis**: Apenas as colunas de key e de valor são gravadas na tabela de destino. As colunas de metadados do Kafka — incluindo topic, partition, offset, timestamp, timestampType e headers — não estão disponíveis na tabela de destino em Beta.
• Tabelas somente de acréscimo : as tabelas de destino são somente de acréscimo. Atualizações e exclusões não são compatíveis.
• Um cluster por pipeline: Cada pipeline usa uma única conexão do Unity Catalog (um cluster Kafka). Para ingerir de múltiplos clusters Kafka, crie pipelines separados.
• Serverless compute only : O conector Kafka gerenciado é executado exclusivamente em serverless compute. Os pipeline compute clássicos não são suportados.
• Criação de pipelines baseada em IU não disponível : a criação de pipelines pela IU do Databricks não é compatível na versão Beta. Use os Pacotes de Automação Declarativa ou um Notebook do Databricks.
• Não é possível selecionar ou desmarcar colunas : A seleção ou desmarcação de colunas específicas não é suportada na versão Beta.
• Sem filtragem de linha : A filtragem em nível de linha não é compatível.
• Sem SCD tipo 2 : Como as tabelas de destino são somente para acréscimo, o acompanhamento de histórico do SCD tipo 2 não é compatível.
• Sem evolução do esquema para colunas renomeadas : as renomeações de coluna não são rastreadas. Uma coluna renomeada na origem é tratada como uma nova coluna no destino.
• Sem orquestração usando Databricks Workflows : o pipeline é executado continuamente. O agendamento baseado em fluxo de trabalho não é compatível.