Amazon
Web Services
Microsoft Azure
Google Cloud PlatformConecte-se ao Matillion
Matillion ETL é uma ferramenta ETL/ELT criada especificamente para plataformas de banco de dados cloud , incluindo Databricks. O Matillion ETL tem uma interface de usuário moderna baseada em navegador, com poderosa funcionalidade push-down ETL/ELT.
Você pode integrar seu databricks SQL warehouse (anteriormente Databricks SQL endpoints) e clusters Databricks com Matillion.
Conecte-se ao Matillion usando Partner Connect
Esta seção descreve como usar Partner Connect para simplificar o processo de conexão de um SQL warehouse existente ou clusters em seu workspace Databricks para Matillion.
Requisitos
Consulte os requisitos para usar o Partner Connect.
passos para conectar
Para se conectar ao Matillion usando o parceiro Connect, siga os passos desta seção.
Dica
Se você tiver uma account existente do Matillion, o Databricks recomenda que você se conecte ao Matillion manualmente. Isso ocorre porque a experiência de conexão no Partner Connect é otimizada para novas account de parceiro.
Na barra lateral, clique em
parceiros Conectar.Clique no ladrilho Matillion .
A caixa Email exibe o endereço de email da sua account do Databricks. Matillion usa este endereço de email para solicitar que você crie uma nova account Matillion ou entre em sua account Matillion existente.
Clique em Conectar-se ao Matillion ETL ou Entrar.
Uma nova tab é aberta em seu navegador, exibindo o Matillion Hub.
Conclua as instruções na tela no Matillion para criar sua account Matillion de teste de 14 dias ou para fazer login em sua account Matillion existente.
Importante
Se for exibido um erro informando que alguém da sua organização já criou uma account no Matillion, entre em contato com um dos administradores da sua organização e peça para adicionar você à account do Matillion da sua organização. Depois que eles adicionarem você, faça login na sua account existente do Matillion.
Conclua as instruções na tela para fornecer os detalhes Job e clique em Continuar.
Conclua as instruções na tela para criar uma organização e clique em Continuar.
Clique na organização que você criou e, em seguida, clique em Add Matillion ETL instance.
Clique em Continuar na AWS.
O console do Amazon EC2 é aberto.
Siga Launching Matillion ETL usando Amazon Machine Image na documentação Matillion ETL, começando com a passo 5. Em seguida, siga Accessing Matillion ETL no Amazon Web serviço (EC2) na documentação Matillion ETL.
Siga as instruções da documentação do Matillion ETL.
O Matillion ETL é aberto em seu navegador e a caixa de diálogo Criar projeto é exibida.
Siga o projeto Create a Delta Lake on Databricks na documentação do Matillion.
Para as configurações na seção Delta Lake Connection nestas instruções, insira as seguintes informações:
Para IDworkspace , insira a ID do seu workspace Databricks. Consulte nomes, URLs e IDs de instâncias do espaço de trabalho.
Para Nome de usuário, insira a palavra
token.Para Senha, insira o valor de access tokens pessoal do Databricks.
Para obter o IDworkspace e gerar access tokens pessoal, faça o seguinte:
Retorne à tab Partner Connect em seu navegador.
Anote o IDworkspace .
Clique em Gerar novos tokens.
Um novo tab é aberto em seu navegador, exibindo a página Settings (Configurações ) da UI do Databricks.
Clique em Gerar novos tokens.
Opcionalmente, insira uma descrição (comentário) e um período de validade.
Clique em Gerar.
Copie os access tokens pessoal gerados e armazene-os em um local seguro.
Retorne à tab Matillion em seu navegador.
Para as configurações na seção defaultdo Delta Lake nestas instruções, para clusters, escolha o nome do SQL warehouse ou clusters.
Continue com Next os passos.
Conecte-se ao Matillion manualmente
Esta seção descreve como conectar manualmente um SQL warehouse existente ou clusters em seu workspace Databricks ao Matillion.
Observação
Você pode se conectar ao Matillion usando Partner Connect para simplificar a experiência.
Requisitos
Antes de integrar manualmente com o Matillion, você deve ter o seguinte:
Uma instância Matillion ETL, que você pode iniciar usando o AWS CloudFormation, uma imagem de máquina da Amazon (AMI) ou o marketplaceda AWS.
access tokens pessoal do Databricks.
Observação
Como prática recomendada de segurança ao se autenticar com ferramentas, sistemas, scripts e aplicativos automatizados, a Databricks recomenda que você use tokens OAuth.
Se o senhor usar a autenticação pessoal access token, a Databricks recomenda o uso de pessoal access tokens pertencente à entidade de serviço em vez de usuários workspace. Para criar o site tokens para uma entidade de serviço, consulte gerenciar tokens para uma entidade de serviço.
passos para conectar
Para se conectar ao Matillion manualmente, faça o seguinte:
Obtenha o nome do recurso compute existente que você deseja usar (um SQL warehouse ou clusters) em seu workspace. Posteriormente, você escolherá esse nome para concluir a conexão entre seu recurso compute e sua instância Matillion ETL.
Para acessar o view SQL warehouse em seu workspace, clique em
SQL warehouse na barra lateral. Para criar um novo SQL warehouse, consulte Criar um SQL warehouse.Para view os clusters em seu workspace, clique em
compute na barra lateral. Para criar um cluster, consulte Referência de configuração do Compute.
Siga Conecte-se à sua instância ETL do Matillion e logs in na documentação do Matillion.
Siga o projeto Create a Delta Lake on Databricks na documentação do Matillion.
Para as configurações na seção Delta Lake Connection nestas instruções, insira as seguintes informações:
Para IDworkspace , insira a ID do seu workspace Databricks. Consulte nomes, URLs e IDs de instâncias do espaço de trabalho.
Para Nome de usuário, insira a palavra
token.Para Senha, insira os access tokens pessoal do Databricks.
Para as configurações na seção defaultdo Delta Lake nestas instruções, para clusters, escolha o nome do SQL warehouse ou clusters.
Continue com Next os passos.