Configure o Banco de Dados do Azure para MySQL para ingestão.
Para realizar a ingestão do Azure Database for MySQL com o Lakeflow Connect, configure o registro binário e a retenção de binlog no servidor. O conector lê o log binário (binlog) para capturar alterações.
Requisitos
- Banco de Dados do Azure para MySQL versão 5.7.44 e posterior, ou 8.0 e posterior (Servidor Flexível).
- Permissão para modificar os parâmetros do servidor.
Configurar parâmetros do servidor
O registro binário é controlado por meio de parâmetros do servidor no Banco de Dados do Azure para MySQL. Você deve configurar esses parâmetros através do portal do Azure.
Parâmetros de servidor necessários
Configure os seguintes parâmetros do servidor:
Parâmetro | Valor | Descrição |
|---|---|---|
|
| Habilita o registro binário. |
|
| Define o formato do log binário para replicação baseada em linhas. Necessário para captura de dados de alterações (CDC). |
|
| Registra todas as colunas no log binário, não apenas as colunas alteradas. |
| Mínimo: | Especifica por quanto tempo logs binários são mantidos antes da eliminação automática. |
Portal do Azure
Para configurar os parâmetros do servidor usando o portal do Azure:
- Inicie sessão no portal do Azure e navegue até o seu servidor de Banco de Dados do Azure para MySQL.
- No menu à esquerda, em Configurações , selecione Parâmetros do servidor .
- Procure por
binlog_formate defina o valor comoROW. - Procure por
binlog_row_imagee defina o valor comoFULL. - Procure por
binlog_expire_logs_secondse defina o valor mínimo para86400(um dia). A Databricks recomenda configurá-lo para604800(sete dias). - Clique em Salvar na parte superior da página.
- Quando solicitado, reinicie o servidor para que as alterações entrem em vigor.
Considerações sobre a retenção de binlogs
O período mínimo de retenção de binlog é de um dia (24 horas ou 86.400 segundos). O Databricks recomenda um período de retenção de binlog de sete dias (168 horas ou 604.800 segundos). Se você definir um valor menor, os binlogs poderão ser excluídos antes que o conector os processe, exigindo um refresh completo de todas as tabelas.
Se a ingestão for interrompida por mais de binlog_expire_logs_seconds, os binlogs poderão ser excluídos antes que a ingestão seja retomada, o que também exige um refresh completo.
Verifique a configuração do binlog
Após configurar os parâmetros do servidor e reiniciá-lo, verifique se o registro binário está configurado corretamente:
-- Check if binary logging is enabled
SHOW VARIABLES LIKE 'log_bin';
-- Should return:
-- +---------------+-------+
-- | Variable_name | Value |
-- +---------------+-------+
-- | log_bin | ON |
-- +---------------+-------+
-- Check binlog format
SHOW VARIABLES LIKE 'binlog_format';
-- Should return:
-- +---------------+-------+
-- | Variable_name | Value |
-- +---------------+-------+
-- | binlog_format | ROW |
-- +---------------+-------+
-- Check binlog row image
SHOW VARIABLES LIKE 'binlog_row_image';
-- Should return:
-- +------------------+-------+
-- | Variable_name | Value |
-- +------------------+-------+
-- | binlog_row_image | FULL |
-- +------------------+-------+
-- Check binlog row value options (must be empty; MySQL 5.7 returns no rows)
SHOW VARIABLES LIKE 'binlog_row_value_options';
-- Should return:
-- +--------------------------+-------+
-- | Variable_name | Value |
-- +--------------------------+-------+
-- | binlog_row_value_options | |
-- +--------------------------+-------+
-- Check retention in seconds
SHOW VARIABLES LIKE 'binlog_expire_logs_seconds';
Leia o suporte à réplica
O conector MySQL oferece suporte à ingestão de dados a partir de réplicas de leitura do Banco de Dados do Azure para MySQL. Utilizar uma réplica de leitura pode reduzir a carga no seu banco de dados principal.
Para usar uma réplica de leitura:
- Crie uma réplica de leitura do seu servidor primário no portal do Azure.
- Verifique se a réplica de leitura tem o registro binário ativado (herdado do servidor primário).
- Utilize as strings de conexão da réplica de leitura ao criar a conexão com o Databricks .
Pode haver um atraso na replicação entre o servidor primário e a réplica, o que pode afetar a atualização dos dados. Monitore o atraso de replicação usando as métricas do Azure Monitor.
Configuração de rede
Certifique-se de que seu servidor Azure Database for MySQL esteja acessível a partir do Databricks:
- Configure as regras do firewall para permitir o tráfego de entrada proveniente dos intervalos de IP do Databricks.
- Se estiver usando um endpoint privado, assegure-se de que o emparelhamento ou a conectividade da rede virtual estejam adequados.
- Considere usar o Azure Private Link para conectividade segura.
Para adicionar uma regra de firewall:
- No portal do Azure, navegue até o seu servidor MySQL.
- Em Configurações , selecione Rede .
- Adicione uma nova regra de firewall com os intervalos de IP do Databricks.
- Clique em Salvar .
Recursos adicionais
Agora, um administrador pode:
- Use o Catalog Explorer para criar uma conexão, permitindo que usuários sem privilégios de administrador criem pipelines.
- Utilize a interface de ingestão de dados para criar uma conexão e um pipeline.