Amazon
Web Services
Microsoft Azure
Google Cloud PlatformConecte-se ao Fivetran
A integração automatizada de dados Fivetran se adapta conforme os esquemas e as APIs mudam, garantindo acesso confiável aos dados e análise simplificada com esquemas prontos paraquery .
Você pode integrar seu databricks SQL warehouse (anteriormente Databricks SQL endpoints) e clusters Databricks com Fivetran. A integração do Fivetran com o Databricks ajuda você a centralizar dados de diferentes fontes de dados no Delta Lake.
Conecte-se ao Fivetran usando Partner Connect
Esta seção descreve como se conectar ao Fivetran usando Partner Connect. Cada usuário cria sua própria conexão.
Observação
A experiência de conexão por usuário está em Public Preview. Você pode desabilitar a capacidade de criar conexões por usuário entrando em contato com sua equipe account do Databricks.
Antes de se conectar usando Partner Connect
Antes de se conectar ao Fivetran usando Partner Connect, certifique-se de ter o seguinte:
A função de usuário administrador workspace ou as seguintes permissões:
Para dados gerenciados pelo Unity Catalog, os seguintes privilégios de objeto metastore para o catálogo que você deseja que o Fivetran grave:
-
USE CATALOGe`CREATE SCHEMA` no catálogo.(Opcional) Para especificar um local de destino, CREATE EXTERNAL TABLE no local externo e acesso aos dados no armazenamento de objetos cloud .
Para dados gerenciados pelo Hive metastore, os seguintes privilégios de objeto metastore para o catálogo no qual você deseja que o Fivetran grave:
USAGEeCREATEno catálogo(Opcional) Para especificar um local de destino, acesse os dados no armazenamento de objetos cloud .
Privilégios para objetos de metastore Unity Catalog podem ser concedidos por um administrador de metastore, o proprietário do objeto ou o proprietário do catálogo ou esquema que contém o objeto. Para obter mais informações, consulte Privilégios do Unity Catalog e objetos protegíveis.
Privilégios para objetos legados Hive metastore podem ser concedidos por um administrador workspace ou pelo proprietário do objeto. Para obter mais informações, consulte Hive metastore Privilégios e objetos protegíveis (legado).
O acesso aos dados no armazenamento de objetos na nuvem deve ser configurado por um administrador do workspace com permissões suficientes no armazenamento de objetos na nuvem account. Para obter mais informações, consulte Habilitar configuração de acesso a dados.
parceiros Conectar passos
Para conectar seu workspace do Databricks ao Fivetran usando Partner Connect, faça o seguinte:
Na barra lateral, clique em parceiros Conectar.
Clique no bloco Fivetran .
As passos nesta seção criam uma account de teste Fivetran em nível de usuário. Para entrar em uma accountde avaliação Fivetran existente no nível workspace, clique em Usar conexão existente, conclua as instruções na tela para entrar no Fivetran e pule o restante das passos nestes artigos.
Selecione um SQL warehouse. Se o SQL warehouse estiver parado, clique em começar.
Se o seu workspace estiver habilitado para Unity Catalog, selecione um catálogo para o Fivetran gravar e clique em Avançar.
O Partner Connect gera um access tokenpessoal do Databricks associado ao seu usuário.
Clique em Conectar ao Fivetran.
Uma nova tab é aberta em seu navegador da Web que exibe o site Fivetran.
Conclua as instruções na tela no site da Fivetran para criar sua account de parceiros de avaliação.
Conecte-se ao Fivetran manualmente
Para obter uma visão geral do procedimento de conexão manual, assista a este vídeo do YouTube (2 minutos).
Observação
Para conectar um SQL warehouse com o Fivetran mais rapidamente, use Partner Connect.
Antes de conectar manualmente
Antes de se conectar ao Fivetran manualmente, você deve ter o seguinte:
Um clusters ou SQL warehouse em seu workspace do Databricks.
Os detalhes de conexão para seus clusters ou SQL warehouse, especificamente os valores Server hostname, Port e HTTP Path .
Um site pessoal da Databricks access token. Para criar um access token pessoal, faça o seguinte:
Em seu Databricks workspace, clique em seu nome de usuário Databricks na barra superior e selecione Settings (Configurações ) no menu suspenso.
Clique em Desenvolvedor.
Ao lado do access token, clique em gerenciar.
Clique em Gerar novos tokens.
(Opcional) Insira um comentário que o ajude a identificar esse token no futuro e altere o tempo de vida padrão do token de 90 dias. Para criar um token sem vida útil (não recomendado), deixe a caixa Duração (dias) vazia (em branco).
Clique em Gerar.
Copie o token exibido em um local seguro e clique em Concluído.
Observação
Certifique-se de salvar os tokens copiados em um local seguro. Não compartilhe seus tokens copiados com outras pessoas. Se você perder os tokens copiados, não poderá regenerar exatamente os mesmos tokens. Em vez disso, você deve repetir este procedimento para criar novos tokens. Se você perder os tokens copiados ou acreditar que os tokens foram comprometidos, o Databricks recomenda fortemente que você exclua imediatamente esses tokens do seu workspace clicando no ícone da lixeira (Revogar) ao lado dos tokens na página access tokens .
Se não for possível criar ou usar tokens no seu workspace, isso pode ocorrer porque o administrador do workspace desativou os tokens ou não lhe deu permissão para criar ou usar tokens. Consulte o administrador do workspace ou o seguinte:
Observação
Como prática recomendada de segurança ao se autenticar com ferramentas, sistemas, scripts e aplicativos automatizados, a Databricks recomenda que você use tokens OAuth.
Se utilizar a autenticação access token pessoal, a Databricks recomenda a utilização access token pessoal pertencente à entidade de serviço em vez de utilizadores workspace . Para criar tokens para entidades de serviço, consulte gerenciar tokens para uma entidade de serviço.
Dica
Se o bloco Fivetran em Partner Connect em seu workspace tiver um ícone de marca de seleção dentro dele, você poderá obter os detalhes da conexão para o SQL warehouse conectado clicando no bloco e expandindo Detalhes da conexão. Os access tokenspessoal estão ocultos; você deve criar access tokenspessoal substitutos e inserir esses novos tokens quando o Fivetran solicitar.
passos manuais
Para se conectar ao Fivetran manualmente, faça o seguinte:
Entre na sua account Fivetran ou crie uma nova account Fivetran em https://fivetran.com/login.
Importante
Se o senhor entrar no Fivetran da sua organização account, poderá ser exibida uma página Choose Destination (Escolher destino ), listando uma ou mais entradas de destino existentes com o logotipo da Databricks. Essas entradas podem conter detalhes de conexão para compute recurso em um espaço de trabalho separado do seu. Se o senhor ainda quiser reutilizar uma dessas conexões e confiar no recurso compute e tiver acesso a ele, escolha esse destino e passe para os próximos passos. Caso contrário, escolha qualquer destino disponível para passar por essa página.
Em sua página Dashboard no Fivetran, clique em Destinations tab.
Clique em Adicionar destino.
Digite um nome de destino e clique em Adicionar.
Na página Fivetran is modern ELT , clique em Configurar um conector.
Clique em uma fonte de dados e, em seguida, clique em Avançar.
Siga as instruções na tela no Guia de configuração no Fivetran para concluir a configuração do conector.
Clique em Salvar e testar.
Depois que o teste for bem-sucedido, clique em Continuar.
Na página Selecione o destino dos seus dados , clique em Databricks on AWS.
Clique em Continuar configuração.
Conclua as instruções na tela no Fivetran para inserir os detalhes de conexão para seu recurso compute Databricks existente, especificamente os valores de campo hostnamedo servidor e Caminho HTTP e os tokens que você gerou anteriormente.
Clique em Salvar e testar.
Depois que o teste for bem-sucedido, clique em Continuar.
Continue para os próximos passos.
