Pular para o conteúdo principal

Solução de problemas de ingestão de dados no MySQL

info

Esta página contém referências ao termo "escravo" , um termo que o Databricks não utiliza. Quando o termo for removido do software de terceiros, nós o removeremos desta página.

Para orientação geral de solução de problemas que se aplica a todos os pipelines de ingestão gerenciados, consulte Solucionar problemas de pipelines de ingestão gerenciados.

Solução de problemas específicos do conector​

Os passos de resolução de problemas nesta seção são específicos para o conector MySQL .

Problemas de conexão​

O botão Testar Conexão falha.​

Problema : O botão Testar Conexão não funciona na interface do usuário, mesmo que as credenciais estejam corretas.

Causa : Esta é uma limitação conhecida para usuários do MySQL com plugins de autenticação sha256_password ou caching_sha2_password .

Soluções : Você pode ignorar este erro com segurança e prosseguir com a criação da conexão. Para confirmar se suas credenciais funcionam, execute o seguinte no cliente de linha de comando MySQL ou em outra ferramenta cliente MySQL :

Bash
mysql -h your-mysql-host -u lakeflow_connect_user -p

Se você conseguir se conectar com o cliente MySQL, a conexão funcionará para ingestão, apesar da falha no teste de conexão .

Não consigo conectar ao servidor MySQL.​

Problema : A conexão falha com erros como "Não foi possível conectar ao servidor MySQL" ou "Conexão recusada".

Possíveis causas e soluções :

  1. Conectividade de rede :

    • Verifique se as regras do firewall permitem tráfego dos intervalos de IP do Databricks na porta 3306.
    • Verifique os grupos de segurança (AWS), NSGs (Azure) ou regras de firewall (GCP).
    • Verifique se o peering de VPC ou a conectividade de rede está configurado corretamente.
  2. MySQL não está escutando na interface esperada :

    • Verifique a configuração MySQL bind-address .
    • Certifique-se de que o MySQL esteja escutando em 0.0.0.0 ou no endereço IP específico ao qual você está se conectando.
  3. Host ou porta incorretos :

    • Verifique se o hostname ou o endereço IP está correto.
    • Confirme se a porta (default 3306) está correta.

Acesso negado ao usuário​

Problema : A conexão falha com a mensagem "Acesso negado para o usuário 'lakeflow_connect_user'@'host'".

Possíveis causas e soluções :

  1. Senha incorreta : verifique se a senha está correta.

  2. Usuário não criado ou host incorreto :

    SQL
    -- Check if user exists
    SELECT User, Host FROM mysql.user WHERE User = 'lakeflow_connect_user';

    -- User might need to be created for specific host or '%'
    CREATE USER 'lakeflow_connect_user'@'%' IDENTIFIED BY 'password';
  3. Privilégios ausentes :

    SQL
    -- Grant required privileges
    GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'lakeflow_connect_user'@'%';
    GRANT SELECT ON your_database.* TO 'lakeflow_connect_user'@'%';
    FLUSH PRIVILEGES;

Problemas com o log binário​

Registro binário não ativado​

Problema : O pipeline falha com um erro indicando que o registro binário não está habilitado. A mesma classe de erro INGESTION_GATEWAY_CDC_NOT_ENABLED é relatada quando o MySQL responde com Binary log is not open. Nesse caso, as tabelas afetadas são ignoradas.

Causa : O log binário está desativado na fonte.

Soluções : Habilite o registro binário no seu servidor MySQL :

  • RDS/Aurora : Configure o grupo de parâmetros e reinicie.
  • Azure MySQL : Configure os parâmetros do servidor e reinicie.
  • GCP Cloud SQL : Configure os parâmetros do banco de dados e reinicie.
  • EC2 : Edite my.cnf e adicione log-bin=mysql-bin, depois reinicie o MySQL.

Verifique com:

SQL
SHOW VARIABLES LIKE 'log_bin';
-- Should return ON

Depois que o log binário estiver habilitado, realize um refresh completo das tabelas ignoradas. Consulte refresh totalmente as tabelas de destino.

Formato de binlog incorreto​

Problema : O pipeline falha porque o formato do binlog não é ROW.

soluções : Defina o formato binlog para ROW:

  • RDS/Aurora : Defina binlog_format=ROW no grupo de parâmetros.
  • Azure MySQL : Defina binlog_format=ROW nos parâmetros do servidor.
  • GCP cloud SQL : Defina binlog_format=ROW nos sinalizadores do banco de dados.
  • EC2 : Adicione binlog_format=ROW a my.cnf.

Reinicie o MySQL e verifique:

SQL
SHOW VARIABLES LIKE 'binlog_format';
-- Should return ROW

O arquivo binlog foi limpo antes do processamento.​

Problema : O pipeline falha com um erro relacionado a arquivos binlog ausentes.

Causa : os logs binários foram limpos antes que o conector pudesse processá-los.

Solução :

  1. Aumentar a retenção de binlogs:

    SQL
    -- RDS/Aurora:
    -- Minimum: one day (24 hours), recommended: seven days (168 hours)
    CALL mysql.rds_set_configuration('binlog retention hours', 168);

    -- EC2 (MySQL 8.0):
    -- Minimum: one day (86400 seconds), recommended: seven days (604800 seconds)
    SET GLOBAL binlog_expire_logs_seconds = 604800;

    -- EC2 (MySQL 5.7):
    -- Minimum: one day, recommended: seven days
    SET GLOBAL expire_logs_days = 7;
  2. Realize uma refresh completa das tabelas afetadas:

  3. Para pipelines baseados em gateway, garanta que o gateway de ingestão esteja em execução continuamente.

Prevenção : configure a retenção adequada de binlog (mínimo de um dia, sete dias recomendado). Definir um valor menor pode fazer com que os binlogs sejam limpos antes que o conector os processe.

Posição do Binlog ilegível​

Problema : A atualização do pipeline falha com a classe de erro INGESTION_GATEWAY_MYSQL_BINLOG_POSITION_UNREADABLE. A mensagem de erro nomeia o arquivo binlog e a posição, e inclui o erro que o MySQL reportou (erro do MySQL 1236), como I/O error reading log event ou binlog truncated in the middle of event.

Causa : o arquivo binlog existe, mas o MySQL não consegue ler o evento na posição que o gateway analisou.

Solução : Realize um refresh completo de todas as tabelas no pipeline. Isso gera um novo snapshot e retoma o CDC a partir de uma posição atual do binlog. Consulte refresh totalmente as tabelas de destino.

Para investigar a causa, conecte-se ao servidor MySQL de origem e verifique o seguinte. Faça isso antes que o arquivo binlog seja limpo, porque o arquivo pode ser excluído depois que o período de retenção passar.

  1. Verifique se o arquivo binlog nomeado no erro ainda existe:

    SQL
    SHOW BINARY LOGS;
  2. Verifique se o MySQL pode ler eventos da posição nomeada no erro. Substitua o nome do arquivo e a posição pelos valores da mensagem de erro:

    SQL
    SHOW BINLOG EVENTS IN 'mysql-bin-changelog.000123' FROM 12345 LIMIT 5;

    Se esta query também falhar, o problema está no servidor de origem e não no gateway de ingestão.

  3. Verifique a configuração de retenção de binlog e o espaço livre em disco no servidor de origem. Consulte "Binlog limpo antes do processamento" (Binlog purged before processing) para saber como definir a retenção.

Se você entrar em contato com o suporte do Databricks, inclua a saída das duas primeiras queries e a mensagem de erro completa.

Problemas no gateway de ingestão​

Os problemas nesta seção aplicam-se a pipelines baseados em gateway. Os pipelines CDC integrados não usam um gateway de ingestão. Para a solução de problemas do CDC integrado, consulte Solução de problemas.

O gateway não está iniciando.​

Problema : O gateway de ingestão não inicia ou falha imediatamente.

Possíveis causas e soluções :

  1. Problemas de conexão : Verifique se a conexão está funcionando (consulte Problemas de conexão).

  2. Recurso compute insuficiente :

    • Verifique as permissões e políticas de criação do cluster.
  3. Problemas com o volume de preparação :

    • Verifique se você tem privilégios CREATE VOLUME no esquema de preparação.
    • Verifique se o catálogo de teste não é um catálogo estrangeiro.

O gateway está em execução, mas não está capturando as alterações.​

Problema : O gateway está em execução, mas as novas alterações não estão sendo capturadas.

Possíveis causas e soluções :

  1. Tempo de retenção do binlog muito curto :

    • Aumentar a retenção de binlogs.
    • Monitore os arquivos binlog para garantir que não sejam apagados muito rapidamente.
  2. Interrupções de rede :

    • Verifique se há problemas de conectividade de rede.
    • Analise logs do gateway em busca de erros de conexão.

Problemas no pipeline de ingestão​

Tabelas não sendo ingeridas​

Problema : Algumas tabelas não estão sendo importadas, mesmo estando selecionadas.

Possíveis causas e soluções :

  1. Tipos de dados espaciais :

    • Tabelas com colunas espaciais não podem ser importadas.
    • Exclua essas tabelas da ingestão.
  2. Privilégios ausentes :

    • Verifique se o usuário de replicação tem SELECT em todas as tabelas de origem.
    SQL
    SHOW GRANTS FOR 'lakeflow_connect_user'@'%';

Os valores de objetos grandes estão vazios na tabela de destino​

Problema : uma coluna de texto ou binária está vazia na tabela de destino, mas a linha de origem tem um valor.

Causa : O valor de origem é maior que 10 MiB (10.485.760 bytes). O conector ingere valores de objetos grandes com tamanho excessivo como vazios sem falhar na atualização do pipeline ou relatar um erro, e você não pode alterar esse limite. Consulte Limite de tamanho de objeto grande.

Verificando logs​

Para diagnosticar problemas, verifique os seguintes logs:

  1. Logs de gateway (apenas pipelines baseados em gateway):

    • Navegue até o pipeline do gateway na interface do usuário do Databricks.
    • Clique na última execução.
    • Analise logs cluster e logs de eventos DLT .
  2. logsdo pipeline :

    • Navegue até o pipeline de ingestão.
    • Clique na última execução.
    • Analise logs de eventos DLT e quaisquer mensagens de erro.
  3. logsMySQL :

    • Verifique o log de erros do MySQL para problemas de conexão ou replicação.
    • Analise os arquivos binlog caso ocorram erros de posicionamento.

Obtenha ajuda​

Se você continuar a ter problemas:

  1. Colete informações relevantes:

    • Mensagens de erro dos logs pipeline .
    • logs cluster de gateway.
    • Versão do MySQL e tipo de implantação.
    • Configuração da fonte (configurações de binlog, retenção).
  2. Entre em contato com o suporte Databricks e forneça as informações coletadas.

erros de certificado do servidor TLS​

Para solucionar problemas de validação de certificado TLS do servidor, consulte Solucionar problemas de erros de certificado TLS.