Conecte-se ao Matillion

Matillion ETL é uma ferramenta ETL/ELT criada especificamente para plataformas de banco de dados cloud , incluindo Databricks. O Matillion ETL tem uma interface de usuário moderna baseada em navegador, com poderosa funcionalidade push-down ETL/ELT.

Você pode integrar seu databricks SQL warehouse (anteriormente Databricks SQL endpoints) e clusters Databricks com Matillion.

Conecte-se ao Matillion usando Partner Connect

Esta seção descreve como usar Partner Connect para simplificar o processo de conexão de um SQL warehouse existente ou clusters em seu workspace Databricks para Matillion.

Requisitos

Consulte os requisitos para usar o Partner Connect.

passos para conectar

Para se conectar ao Matillion usando o parceiro Connect, siga os passos desta seção.

Dica

Se você tiver uma account existente do Matillion, o Databricks recomenda que você se conecte ao Matillion manualmente. Isso ocorre porque a experiência de conexão no Partner Connect é otimizada para novas account de parceiro.

  1. Na barra lateral, clique em Botão Conectar Parceiros parceiros Conectar.

  2. Clique no ladrilho Matillion .

    A caixa Email exibe o endereço de email da sua account do Databricks. Matillion usa este endereço de email para solicitar que você crie uma nova account Matillion ou entre em sua account Matillion existente.

  3. Clique em Conectar-se ao Matillion ETL ou Entrar.

    Uma nova tab é aberta em seu navegador, exibindo o Matillion Hub.

  4. Conclua as instruções na tela no Matillion para criar sua account Matillion de teste de 14 dias ou para fazer login em sua account Matillion existente.

    Importante

    Se for exibido um erro informando que alguém da sua organização já criou uma account no Matillion, entre em contato com um dos administradores da sua organização e peça para adicionar você à account do Matillion da sua organização. Depois que eles adicionarem você, faça login na sua account existente do Matillion.

  5. Conclua as instruções na tela para fornecer os detalhes Job e clique em Continuar.

  6. Conclua as instruções na tela para criar uma organização e clique em Continuar.

  7. Clique na organização que você criou e, em seguida, clique em Add Matillion ETL instance.

  8. Clique em Continuar na AWS.

    O console do Amazon EC2 é aberto.

  9. Siga Launching Matillion ETL usando Amazon Machine Image na documentação Matillion ETL, começando com a passo 5. Em seguida, siga Accessing Matillion ETL no Amazon Web serviço (EC2) na documentação Matillion ETL.

  10. Siga Associando uma Instância na documentação do Matillion ETL.

    O Matillion ETL é aberto em seu navegador e a caixa de diálogo Criar projeto é exibida.

  11. Siga o projeto Create a Delta Lake on Databricks na documentação do Matillion.

    Para as configurações na seção Delta Lake Connection nestas instruções, insira as seguintes informações:

    Para obter o IDworkspace e gerar access tokens pessoal, faça o seguinte:

    1. Retorne à tab Partner Connect em seu navegador.

    2. Anote o IDworkspace .

    3. Clique em Gerar novos tokens.

      Uma nova guia é aberta em seu navegador que exibe a página de configurações do usuário da interface do usuário do Databricks.

    4. Clique em Gerar novos tokens.

    5. Opcionalmente, insira uma descrição (comentário) e um período de validade.

    6. Clique em Gerar.

    7. Copie os access tokens pessoal gerados e armazene-os em um local seguro.

    8. Retorne à tab Matillion em seu navegador.

    Para as configurações na seção defaultdo Delta Lake nestas instruções, para clusters, escolha o nome do SQL warehouse ou clusters.

  12. Continue com Next os passos.

Conecte-se ao Matillion manualmente

Esta seção descreve como conectar manualmente um SQL warehouse existente ou clusters em seu workspace Databricks ao Matillion.

Observação

Você pode se conectar ao Matillion usando Partner Connect para simplificar a experiência.

Requisitos

Antes de integrar manualmente com o Matillion, você deve ter o seguinte:

passos para conectar

Para se conectar ao Matillion manualmente, faça o seguinte:

  1. Obtenha o nome do recurso compute existente que você deseja usar (um SQL warehouse ou clusters) em seu workspace. Posteriormente, você escolherá esse nome para concluir a conexão entre seu recurso compute e sua instância Matillion ETL.

    • Para acessar o view SQL warehouse em seu workspace, clique em Ícone de endpoints SQL warehouse na barra lateral. Para criar um novo SQL warehouse, consulte Criar um SQL warehouse.

    • Para view os clusters em seu workspace, clique em Ícone de computação compute na barra lateral. Para criar um cluster, consulte Referência de configuração do Compute.

  2. Siga Conecte-se à sua instância ETL do Matillion e logs in na documentação do Matillion.

  3. Siga o projeto Create a Delta Lake on Databricks na documentação do Matillion.

    Para as configurações na seção Delta Lake Connection nestas instruções, insira as seguintes informações:

    Para as configurações na seção defaultdo Delta Lake nestas instruções, para clusters, escolha o nome do SQL warehouse ou clusters.

  4. Continue com Next os passos.

Próximos passos

Explore um ou mais dos seguintes recursos no site da Matillion: