Solucionar problemas do conector Kafka

info

Beta

Este recurso está em Beta. Os administradores do espaço de trabalho podem controlar o acesso a esse recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Esta página mostra como solucionar erros comuns com o conector Kafka gerenciado no Lakeflow Connect.

Para perguntas comportamentais (por exemplo, o que acontece quando os registros são excluídos do Kafka antes que o pipeline os leia), consulte as Perguntas Frequentes do conector Kafka.

A transmissão não retorna nenhum registro, mesmo que os dados existam no tópico.

Causa : A opção starting_offset usa o latest como default, que lê somente as mensagens que chegam após o início da transmissão. Se os dados foram gravados no tópico antes do início do pipeline, esses registros não são lidos.

Resolução: Defina starting_offset: earliest em seu kafka_options para ler desde o início do tópico na primeira execução. Observe que esta configuração se aplica somente quando nenhum ponto de verificação existe. Depois que o pipeline é executado uma vez, ele continua do último offset confirmado, independentemente de starting_offset.

A transmissão se conecta, mas nenhum registro chega (problema de autenticação ou ACL)

Causa : O pipeline autenticou-se com sucesso no cluster do Kafka, mas as credenciais não têm permissão para ler do tópico especificado. As ACLs do Kafka podem estar bloqueando o grupo de consumidores ou o tópico.

Resolução :

1. Verifique se o nome de usuário ou a credencial de serviço usados na conexão do Unity Catalog têm permissão READ no tópico em sua configuração de ACL do Kafka.
2. Verifique se o grupo de consumidores usado pelo pipeline é permitido. Entre em contato com seu administrador do Kafka para revisar as configurações de ACL.
3. Verifique se o nome do tópico está correto — os nomes de tópicos do Kafka diferenciam maiúsculas de minúsculas.

O pipeline não conseguiu se conectar ao cluster Kafka (TimeoutException).

Causa : Os servidores bootstrap estão inacessíveis a partir do ambiente de compute serverless do Databricks. As causas comuns incluem configuração de rede, regras de firewall ou um endereço de servidor bootstrap incorreto na conexão.

Resolução :

1. Verifique se os endereços do servidor bootstrap na conexão do Unity Catalog estão corretos e incluem a porta correta (default: 9092).
2. Garanta que seu cluster Kafka permita conexões de entrada do compute serverless do Databricks. Consulte Autenticação para Kafka para obter orientações de configuração de rede.
3. Se seu cluster usar TLS, confirme se a porta corresponde ao listener TLS (default: 9093).

O pipeline ignora os offsets após reiniciar

Causa: Comportamento esperado. Se o pipeline ficar para trás e o Kafka excluir registros (devido às configurações de retenção de tópico) antes que o pipeline os leia, o conector ignorará automaticamente os offsets ausentes e continuará a partir do próximo offset disponível. Consulte Perguntas frequentes do conector Kafka para mais informações.

Resolução : Para evitar o descarte de registros, certifique-se de que o período de retenção do tópico do Kafka seja longo o suficiente para acomodar o tempo de inatividade ou o atraso esperado do pipeline.