Pular para o conteúdo principal
Última atualização em

Configurar o MySQL para ingestão no Databricks

info

Visualização

O conector MySQL está em versão prévia pública. Entre em contato com a equipe da sua account Databricks para solicitar acesso.

Aprenda como configurar MySQL para ingestão no Databricks usando LakeFlow Connect. O conector MySQL usa replicação de log binário (binlog) para capturar as alterações do seu banco de dados MySQL e sincronizá-las incrementalmente com o Databricks.

Requisitos​

Antes de configurar o MySQL para ingestão, verifique se seu ambiente atende aos seguintes requisitos:

  • Versões de banco de dados suportadas :

    • Amazon RDS: 5.7.44 e versões posteriores (tanto para implantações independentes quanto de alta disponibilidade)
    • Amazon Aurora: 5.7.mysql_aurora.2.12.2 e versões posteriores (para configurações de alta disponibilidade, o suporte é apenas a partir da instância primária)
    • Amazon Aurora sem servidor: Compatível
    • Banco de Dados do Azure para Servidores Flexíveis MySQL: 5.7.44 e posterior (implantações autônomas e de alta disponibilidade)
    • MySQL no EC2: 5.7.44 e versões posteriores
    • GCP Cloud SQL: 5.7.44 e posterior

  • Configuração de registro binário : As seguintes configurações de servidor são necessárias:

    • Ativar registro binário.
    • Defina o formato binlog para ROW.
    • Defina a imagem da linha binlog como FULL.

  • Acesso para criar um usuário MySQL com privilégios de replicação.

  • Conectividade de rede do Databricks para sua instância MySQL.

Visão geral da tarefa de configuração da fonte​

Conclua a seguinte tarefa para configurar MySQL para ingestão:

  1. Configure os parâmetros do servidor MySQL para habilitar o registro binário e definir o formato correto.

    A configuração dos passos varia de acordo com o tipo de implantação:

  2. Crie um usuário MySQL com os privilégios necessários para a replicação. Consulte Conceder privilégios de usuário do MySQL.

  3. Configure a rede para permitir que o Databricks se conecte à sua instância do MySQL. Isso pode incluir a configuração de regras de firewall, grupos de segurança ou interconexão de rede.

    Consulte Configurar as definições de firewall para AWS SQL Database para obter informações sobre os endereços IP a serem permitidos.

Leia o suporte à réplica​

O conector MySQL suporta a ingestão de dados de réplicas de leitura para os seguintes tipos de implantação:

  • Amazon RDS para MySQL
  • Banco de Dados do Azure para MySQL
  • MySQL em EC2
atenção

O conector não suporta a ingestão de dados de réplicas de leitura do Amazon Aurora MySQL. Você precisa se conectar à instância primária para implantações do Aurora.

Utilizar uma réplica de leitura pode reduzir a carga no seu banco de dados principal. No entanto, pode haver um atraso na replicação entre o banco de dados primário e a réplica, o que pode afetar a atualização dos dados.