Pular para o conteúdo principal
Última atualização em

Configure o Google Cloud SQL para MySQL para ingestão.

info

Visualização

O conector MySQL está em versão prévia pública. Entre em contato com a equipe da sua account Databricks para solicitar acesso.

Este artigo descreve como configurar o Google Cloud SQL para MySQL para ingestão de dados. Você deve ativar o registro binário e configurar a retenção do log binário para suportar a captura de dados de alterações (CDC).

Requisitos​

  • Cloud SQL para MySQL versão 5.7.44 e posterior, ou 8.0 e posterior.
  • Uma instância do Cloud SQL .

Configurar sinalizadores de banco de dados​

O registro binário é controlado por meio de parâmetros de banco de dados no Cloud SQL para MySQL. Você deve configurar esses parâmetros por meio do Console do Google Cloud.

Sinalizadores de banco de dados obrigatórios​

Configure os seguintes parâmetros de banco de dados:

Bandeira

Valor

Descrição

log_bin

on

Habilita o registro binário.

binlog_format

ROW

Define o formato do log binário para replicação baseada em linhas. Necessário para captura de dados de alterações (CDC).

binlog_row_image

FULL

Registra todas as colunas no log binário, não apenas as colunas alteradas.

binlog_expire_logs_seconds

604800 (7 dias)

Especifica por quanto tempo logs binários são mantidos antes da eliminação automática. Para MySQL 5.7, use expire_logs_days em vez disso.

Console do Google Cloud​

Para configurar os parâmetros do banco de dados usando o Console do Google Cloud:

  1. Abra o Console do Google Cloud e navegue até a página de instâncias do Cloud SQL .
  2. Selecione sua instância do Cloud SQL para abrir a página de detalhes da instância.
  3. Clique em Editar na parte superior da página.
  4. Desça a página até a seção Bandeiras .
  5. Clique em Adicionar sinalizador e selecione binlog_format. Defina o valor como ROW.
  6. Clique em Adicionar sinalizador e selecione binlog_row_image. Defina o valor como FULL.
  7. Para MySQL 8.0, clique em Adicionar sinalizador e selecione binlog_expire_logs_seconds. Defina o valor como 604800 ou superior.
  8. Para MySQL 5.7.44 e posterior, clique em Adicionar sinalizador e selecione expire_logs_days. Defina o valor como 7 ou superior.
  9. Clique em Salvar na parte inferior da página.
  10. Quando solicitado, confirme que deseja reiniciar a instância para que as alterações entrem em vigor.

Considerações sobre a retenção de binlogs​

A Databricks recomenda um período de retenção de binlogs de 7 dias (168 horas ou 604800 segundos). Definir um valor inferior pode fazer com que os binlogs sejam limpos antes que o gateway de ingestão os reproduza, o que exigiria uma refresh completa de todas as tabelas.

Para MySQL 5.7.44 e versões posteriores, use o parâmetro expire_logs_days (valor inteiro em dias).

Para MySQL 8.0 e versões posteriores, use o parâmetro binlog_expire_logs_seconds (valor inteiro em segundos).

Verifique a configuração do binlog.​

Após configurar os parâmetros do banco de dados e reiniciar a instância, verifique se o registro binário está configurado corretamente. Conecte-se à sua instância do Cloud SQL usando um cliente MySQL e execute os seguintes comandos:

SQL
-- Check if binary logging is enabled
SHOW VARIABLES LIKE 'log_bin';

-- Should return:
-- +---------------+-------+
-- | Variable_name | Value |
-- +---------------+-------+
-- | log_bin       | ON    |
-- +---------------+-------+

-- Check binlog format
SHOW VARIABLES LIKE 'binlog_format';

-- Should return:
-- +---------------+-------+
-- | Variable_name | Value |
-- +---------------+-------+
-- | binlog_format | ROW   |
-- +---------------+-------+

-- Check binlog row image
SHOW VARIABLES LIKE 'binlog_row_image';

-- Should return:
-- +------------------+-------+
-- | Variable_name    | Value |
-- +------------------+-------+
-- | binlog_row_image | FULL  |
-- +------------------+-------+

-- For MySQL 8.0: Check retention in seconds
SHOW VARIABLES LIKE 'binlog_expire_logs_seconds';

-- For MySQL 5.7: Check retention in days
SHOW VARIABLES LIKE 'expire_logs_days';

Configuração de rede​

Certifique-se de que sua instância do Cloud SQL esteja acessível a partir do Databricks:

  • IP público : Adicione redes autorizadas para permitir conexões a partir dos intervalos de IP do Databricks.
  • IP privado : Configure o peering de VPC entre sua VPC do Google Cloud e Databricks.
  • Cloud SQL Proxy : Considere usar o Cloud SQL Auth Proxy para conexões seguras.

Adicionar redes autorizadas (IP público)​

Para adicionar redes autorizadas para conectividade IP pública:

  1. Na Console do Cloud, navegue até sua instância do Cloud SQL .
  2. Selecione "Conexões" no menu à esquerda.
  3. Em Redes autorizadas , clique em Adicionar rede .
  4. Insira os intervalos de IP do Databricks.
  5. Clique em Concluído e depois em Salvar .

Cópias de segurança automatizadas​

O Cloud SQL ativa automaticamente o registro binário quando os backups automatizados estão habilitados. Verifique se os backups automáticos estão ativados:

  1. Na Console do Cloud, navegue até sua instância do Cloud SQL .
  2. Selecione "Backups" no menu à esquerda.
  3. Verifique se os backups automáticos estão ativados.
  4. Se estiver desativado, clique em Editar configuração e ative os backups automáticos.

Próximos passos​

Agora, um administrador pode: