Perguntas frequentes sobre o conector Kafka

info

Beta

Este recurso está em Beta. Os administradores do espaço de trabalho podem controlar o acesso a esse recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Esta página contém respostas para perguntas frequentes sobre o conector de ingestão gerenciada do Kafka no Databricks Lakeflow Connect.

Perguntas Frequentes gerais sobre conectores gerenciados

Consulte Perguntas frequentes sobre conectores gerenciados para as perguntas frequentes que se aplicam a todos os conectores gerenciados do LakeFlow Connect. Os itens a seguir são específicos para o conector Kafka.

Perguntas frequentes específicas do conector

Por que estou recebendo um TimeoutException ao me conectar ao Kafka?

As causas comuns incluem:

• Conectividade de rede : O compute serverless não consegue alcançar os brokers Kafka. Verifique as regras de firewall, os grupos de segurança e as configurações de VPC.
• Servidores bootstrap incorretos : Verifique se o hostname do servidor bootstrap e a porta em sua conexão estão corretos.
• Resolução de DNS: Certifique-se de que os hostnames do broker Kafka possam ser resolvidos da rede Databricks.
• Problemas com SSL/TLS : Se estiver usando SSL, verifique se os certificados estão configurados corretamente.

Para configurações de Private Link ou emparelhamento de VPC, garanta que as rotas de rede corretas estejam em vigor. Consulte Autenticação para obter detalhes de configuração de autenticação.

Posso ler de vários tópicos do Kafka em um único pipeline?

Sim. Você pode assinar vários tópicos na mesma definição de tabela de pipeline usando qualquer uma das seguintes opções:

• topics : Forneça uma lista de nomes de tópicos, por exemplo topics: [topic1, topic2].
• topic_pattern : Use uma expressão regular Java para corresponder nomes de tópicos, por exemplo topic_pattern: "topic-.*". topic_pattern é mutuamente exclusivo com topics.

Ambos os campos são definidos em connector_options.kafka_options. Consulte a referência do conector Kafka para a referência completa de opções.

Por que minha transmissão não está retornando nenhum registro, mesmo que existam dados no tópico?

As causas comuns incluem:

• Configuração starting_offset incorreta : O valor default é latest, que lê apenas novos dados que chegam após a transmissão começa. Defina starting_offset a earliest para ler os dados existentes.
• Nome de tópico incorreto: Verifique se você está se inscrevendo no tópico correto. Os nomes dos tópicos Kafka diferenciam maiúsculas de minúsculas.
• Problemas de autenticação : Sua transmissão pode ter sido conectada com sucesso, mas não tem permissão para ler do tópico. Verifique suas ACLs Kafka.

Como posso monitorar o quão atrasada minha transmissão está em relação aos últimos offsets do Kafka?

Consulte view Métricas de transmissão. A IU de métricas de transmissão mostra o atraso de deslocamento por partição, o que indica o quão atrasado o pipeline está em relação aos últimos deslocamentos disponíveis no tópico.

O que acontece se os registros forem excluídos do Kafka antes que o pipeline os leia?

Se o pipeline atrasar e o Kafka excluir registros antes que sejam lidos (devido às configurações de retenção do tópico), o pipeline ignora automaticamente os offsets ausentes e continua a partir do próximo offset disponível.

Este comportamento é intencional. Parar o pipeline em uma lacuna de retenção faria com que o pipeline ficasse ainda mais atrasado enquanto aguarda intervenção, aumentando a quantidade total de dados perdidos. Ao continuar após a lacuna, o pipeline retoma a leitura de novos registros o mais rápido possível.

Se o seu caso de uso exigir a garantia de que todos os registros sejam processados, certifique-se de que o período de retenção do tópico Kafka seja longo o suficiente para acomodar qualquer tempo de inatividade ou atraso esperado no pipeline.