Pular para o conteúdo principal

Conector de ingestão MySQL

info

Visualização

O conector MySQL está em versão prévia pública. Entre em contato com a equipe da sua account Databricks para solicitar acesso.

Esta página ajuda você a entender o fluxo de trabalho de ingestão MySQL , incluindo os fatores que determinam sua abordagem de configuração e os passos envolvidos para diferentes perfis de usuário.

O que você precisa saber antes de começar.

tópico

Por que isso importa

Perfil do usuário do Databricks

O fluxo de trabalho depende do seu perfil de usuário do Databricks:

  • Usuário único: Um usuário administrador configura o banco de dados de origem e cria uma conexão com Unity Catalog , um gateway de ingestão e um pipeline de ingestão.
  • Multiusuário: Um usuário administrador configura o banco de dados de origem e cria uma conexão para que usuários sem privilégios de administrador possam criar pares de gateway e pipeline.

Ambiente de implantação

A configuração do banco de dados de origem depende do ambiente de implantação MySQL (Amazon RDS, Aurora MySQL, Azure Database for MySQL, Google Cloud SQL for MySQL ou MySQL on EC2).

Interface

Os passos para criar uma conexão, um gateway e um pipeline dependem da interface.

Frequência de ingestão

A programação pipeline depende dos seus requisitos de latência e custo.

Padrões comuns

Dependendo das suas necessidades de ingestão, o pipeline pode usar configurações como acompanhamento de história, seleção de coluna e filtragem de linha. As configurações suportadas variam de acordo com o conector. Consulte a disponibilidade do recurso.

Comece a ingerir dados do MySQL

A tabela a seguir fornece uma visão geral do fluxo de trabalho de ingestão de dados MySQL de ponta a ponta, com base no tipo de usuário:

Usuário

os passos

Administrador

  1. Configure o MySQL para ingestão no Databricks.
  2. Qualquer:
    • Use o Catalog Explorer para criar uma conexão que permita que usuários sem privilégios de administrador criem pares de gateway e pipeline. See MySQL.
    • Utilize a interface de ingestão de dados para criar uma conexão, um gateway e um pipeline. Consulte Criar um pipeline de ingestão do MySQL.

Não administrativo

Utilize qualquer interface compatível para criar um gateway e um pipeline. Consulte Criar um pipeline de ingestão do MySQL.