Perguntas frequentes sobre o conector MySQL
Esta página responde a perguntas comuns sobre o conector MySQL, como versões e plataformas suportadas, métodos de autenticação, escala testada e como recuperar quando arquivos binlog são limpos antes da ingestão.
Quais versões e plataformas do MySQL são suportadas?
O conector MySQL é compatível com as seguintes versões e plataformas:
- Amazon RDS para MySQL : Versão 5.7.44 e posterior (tanto para implantações independentes quanto de alta disponibilidade)
- Amazon Aurora MySQL : Versão 5.7.mysql_aurora.2.12.2 e posterior (para configurações de alta disponibilidade, o suporte é apenas para a instância primária)
- Amazon Aurora MySQL sem servidor : Compatível
- Banco de Dados do Azure para Servidores Flexíveis MySQL : Versão 5.7.44 e posterior (implantações autônomas e de alta disponibilidade)
- Google Cloud SQL para MySQL : versão 5.7.44 e posteriores
- MySQL no EC2 : Versão 5.7.44 e posteriores
Quais métodos de autenticação são suportados?
O conector MySQL suporta os seguintes plugins de autenticação, dependendo da sua versão do MySQL:
- MySQL 5.7.44 : Apenas
sha256_passwordé suportado. O usuário de replicação deve ser criado usando este plugin de autenticação. - MySQL 8.0 e posterior : Ambos
sha256_passwordecaching_sha2_passwordsão suportados.
O conector suporta replicação baseada em GTID?
Não, o conector MySQL não suporta replicação baseada em GTID (Identificador Global de Transação). O conector utiliza replicação binlog baseada em posição.
Você ainda pode usar o conector se o GTID estiver habilitado no seu servidor MySQL, mas o conector usa um arquivo binlog e replicação baseada em posição independentemente disso.
Como um arquivo binlog e a posição só fazem sentido no servidor que os produziu, um pipeline não pode continuar em um servidor ou réplica diferente sem um refresh completo. Consulte Reconectando a um nó de origem diferente.
As transações XA são suportadas?
Não, o conector MySQL não suporta transações XA (transações distribuídas). Se uma transação XA for executada, a tabela será ignorada no pipeline.
Posso importar tabelas com tipos de dados espaciais?
Não, os tipos de dados espaciais (GEOMETRY, POINT, LINESTRING, POLYGON, MULTIPOINT, MULTILINESTRING, MULTIPOLYGON, GEOMETRYCOLLECTION) não são suportados.
Se uma tabela contiver colunas espaciais, você deverá excluir a tabela inteira da ingestão. As tabelas com tipos espaciais são ignoradas quando detectadas ou quando uma nova coluna com tipos espaciais é adicionada.
Posso criar vários pipelines com a mesma tabela de destino?
Não, uma tabela de destino pode ser gerenciada por apenas um pipeline de ingestão. Não é possível criar dois pipelines de ingestão de gerenciamento diferentes com tabelas de destino sobrepostas.
Posso importar tabelas com o mesmo nome de esquemas diferentes?
Não, não é possível ingerir duas tabelas com o mesmo nome no mesmo pipeline, mesmo que elas venham de esquemas de origem diferentes. Por exemplo, você não pode ingerir schema1.customers e schema2.customers em um mesmo pipeline.
Para contornar esse problema, consulte Criar pipeline com vários destinos.
Como faço para rotacionar as credenciais do MySQL?
Para rotacionar as credenciais de uma conexão existente:
- Atualizar a senha no MySQL
- No Databricks, acesse o Explorador de Catálogo.
- Navegue até a conexão
- Clique em Editar e atualize a senha.
- Salvar as alterações
O gateway de ingestão e o pipeline usarão automaticamente as novas credenciais na próxima execução.
Os nomes de tabelas e colunas diferenciam maiúsculas de minúsculas?
Sim, os nomes de tabelas e esquemas do MySQL diferenciam maiúsculas de minúsculas no conector MySQL. Os nomes de esquema e tabela do MySQL diferenciam maiúsculas de minúsculas, enquanto os nomes de catálogo, esquema e tabela do Unity Catalog não diferenciam. Se houver um conflito devido a maiúsculas e minúsculas (por exemplo, mytable vs MyTable), use a funcionalidade de múltiplos destinos para resolver os conflitos.
Para obter detalhes, consulte a seção "Diferenciação entre maiúsculas e minúsculas de identificadores" na documentação do MySQL.
Qual escala foi testada para o conector MySQL ?
O conector foi testado em 100 tabelas em um único pipeline com um volume total de dados de Snapshot inferior a 1 TB.
Recomendações de tipo de máquina para o gateway de ingestão:
Para pipelines baseados em gateway, os seguintes são os tipos de máquina default para o gateway de ingestão:
- AWS:
r5n.xlarge - AZUL:
Standard_E4d_v4 - GCP:
n2-highmem-4
Considere usar r5n.2xlarge, Standard_E8d_v4 ou n2-highmem-8 para um melhor desempenho do Snapshot.
limites do oleoduto:
- A Databricks recomenda 250 tabelas ou menos por pipeline.
- Limite máximo: 1.000 fluxos por pipeline (o que efetivamente suporta até 500 tabelas).
Observação: Embora o limite máximo seja de 500 tabelas, a Databricks recomenda 250 ou menos para um desempenho ideal.
O gateway de ingestão suporta execução em modo acionado?
Não, o gateway de ingestão não suporta o modo acionado e deve ser executado continuamente para evitar a necessidade de atualização completa devido à limpeza log .
O pipeline de ingestão pode ser executado programaticamente ou ser acionado, mas o gateway deve permanecer em execução continuamente.
Essa pergunta se aplica a pipelines baseados em gateway. Pipelines de captura de dados de alterações (CDC) integrados não usam um gateway de ingestão e têm execução no modo Trigger por default. Veja Criar um pipeline CDC integrado para MySQL.
Quando devo realizar uma refresh completa?
Execute uma refresh completa nos seguintes cenários:
- Quando um fluxo de tabela é marcado como falho no pipeline de ingestão.
- Quando uma alteração de esquema incompatível causa falha no fluxo da tabela.
- Quando os arquivos binlog são limpos antes que o conector os processe.
- Quando você precisa ressincronizar uma tabela manualmente.
Para realizar uma refresh completa, consulte refresh completamente as tabelas de destino.
O que devo fazer se os arquivos binlog forem limpos antes que o conector os processe?
Se os arquivos de binlog forem expurgados antes que o conector os processe, faça uma execução de um refresh completo de todas as tabelas afetadas no pipeline. O pipeline relata o problema no log de eventos. Em pipelines baseados em gateway, o gateway de ingestão também ignora todas as tabelas afetadas.
Para evitar que isso aconteça:
- Configure uma retenção de binlog adequada (mínimo de um dia, sete dias recomendados).
- Para pipelines baseados em gateway, mantenha o gateway de ingestão em execução contínua.
Meu gateway de ingestão demora muito para iniciar. Como faço para resolver isso?
Execução de gateways em compute clássica e provisionamento de uma máquina virtual (VM) a cada início. Se startup demorar mais do que alguns minutos, considere o seguinte:
- Mudar para o canal de pipeline atual. Essa é a solução mais comum. As versões de pré-visualização do canal têm tempos startup mais longos. Você pode alterar isso na interface do usuário (nas configurações avançadas do pipeline, em Canal ), no arquivo de recursos do pacote ou na especificação pipeline .
- Não reinicie o gateway entre a execução da ingestão. O gateway foi projetado para execução contínua. Parar e reiniciar o sistema reconfigura o provisionamento da VM a cada reinicialização e acarreta o risco de perda logs de alterações caso a origem os trunque enquanto o gateway estiver inativo.
Se o gateway ficar travado no estado de inicialização por 15 minutos ou mais, crie um chamado de suporte.
Isso se aplica somente a gateways. Execução do pipeline de ingestão em compute sem servidor e início rápido.
O conector é compatível com implantações MySQL on-premises ?
Sim, as implementações MySQL on-premises são suportadas quando conectadas a um workspace Databricks por meio de:
- Azure ExpressRoute
- Conexão direta da AWS
- Conexão VPN
Assegure-se de que:
- Há largura de banda de rede suficiente disponível para a transferência de dados.
- A conectividade de rede é estável e confiável.
- As regras do firewall permitem tráfego na porta MySQL (default 3306).
- A retenção de binlogs está configurada corretamente.
Para mais informações, entre em contato com a equipe de suporte Databricks . Para obter detalhes sobre conectividade entrecloud , consulte Conectividade de rede.