Conecte-se à Fivetran

A integração de dados automática do Fivetran adapta-se à medida que os esquemas e as APIs mudam, o que assegura acesso confiável aos dados e análise simplificada com esquemas prontos para consulta.

O senhor pode integrar seus armazéns Databricks SQL (anteriormente Databricks SQL endpoint) e Databricks clustering com Fivetran. A integração do Fivetran com o Databricks ajuda o senhor a centralizar os dados de diferentes fontes de dados no Delta Lake.

Conecte-se à Fivetran usando o Partner Connect

Esta seção descreve como se conectar ao Fivetran usando Partner Connect. Cada usuário cria sua própria conexão.

nota

A experiência de conexão por usuário está na Pré-visualização pública. O senhor pode desativar a capacidade de criar conexões por usuário entrando em contato com a equipe Databricks account .

Antes de se conectar usando o Partner Connect

Antes de se conectar ao Fivetran usando Partner Connect, certifique-se de ter o seguinte:

• A função de usuário workspace admin ou as seguintes permissões:

  • A permissão CAN USE para um SQL warehouse
  • A permissão CAN USE para o uso de tokens

• Para dados gerenciados por Unity Catalog, os seguintes privilégios de objeto de metastore para o catálogo no qual o senhor deseja que Fivetran grave:

  • USE CATALOG eCREATE SCHEMA no catálogo.
  • (Opcional) Para especificar um local de destino, CRIE UMA TABELA EXTERNA no local externo e acesse os dados no armazenamento de objetos na nuvem.

• Para dados gerenciados pelo legado Hive metastore, os seguintes privilégios de objeto de metastore para o catálogo no qual o senhor deseja que o Fivetran grave:

  • USAGE e CREATE no catálogo
  • (Opcional) Para especificar um local de destino, acesse os dados no armazenamento de objetos na nuvem.

Os privilégios dos objetos do metastore do Unity Catalog podem ser concedidos por um administrador do metastore, pelo proprietário do objeto ou pelo proprietário do catálogo ou esquema que contém o objeto. Para obter mais informações, consulte Unity Catalog privileges and securable objects.

Os privilégios para objetos legados do site Hive metastore podem ser concedidos por um administrador do site workspace ou pelo proprietário do objeto. Para obter mais informações, consulte Hive metastore privileges and securable objects (legacy).

O acesso aos dados no armazenamento de objetos na nuvem deve ser configurado por um administrador do workspace com permissões suficientes no armazenamento de objetos na nuvem account. Para obter mais informações, consulte Configurações de acesso a dados.

Etapas do Partner Connect

Para conectar seu workspace do Databricks ao Fivetran usando Partner Connect, faça o seguinte:

1. Na barra lateral, clique em Partner Connect .

2. Clique no bloco Fivetran .

   As passos nesta seção criam uma account de teste Fivetran em nível de usuário. Para entrar em uma accountde avaliação Fivetran existente no nível workspace, clique em Usar conexão existente , conclua as instruções na tela para entrar no Fivetran e pule o restante das passos nestes artigos.

3. Selecione um SQL warehouse. Se o site SQL warehouse estiver parado, clique em começar .

4. Se o site workspace estiver habilitado para Unity Catalog, selecione um catálogo para o qual Fivetran possa gravar e clique em Next .

   Partner Connect gera um Databricks tokens de acesso pessoal que está associado ao seu usuário.

5. Clique em Connect to Fivetran .

   Um novo tab é aberto em seu navegador da Web, exibindo o site Fivetran.

6. Siga as instruções na tela do site Fivetran para criar seus parceiros de teste account.

Conectar-se ao Fivetran manualmente

Para uma visão geral do procedimento de conexão manual, assista a este vídeo do YouTube (2 minutos).

Antes de se conectar manualmente

Antes de se conectar ao Fivetran manualmente, o senhor deve ter o seguinte:

• Um agrupamento ou SQL warehouse em seu Databricks workspace.

  • referência de configuração de computação.
  • Crie um SQL warehouse.

• Os detalhes da conexão para seu clustering ou SQL warehouse, especificamente os valores de Server Hostname , Port e HTTP Path .

  • Obtenha detalhes de conexão para um recurso Databricks compute.

• A Databricks tokens de acesso pessoal. Para criar tokens de acesso pessoal, siga as etapas em Databricks personal access tokens para usuários workspace.

nota

Como prática recomendada de segurança, ao se autenticar com ferramentas, sistemas, scripts e aplicativos automatizados, o Databricks recomenda que o senhor use o acesso pessoal tokens pertencente à entidade de serviço em vez dos usuários do workspace. Para criar tokens o site para uma entidade de serviço, consulte gerenciar tokens para uma entidade de serviço.

dica

Se o bloco Fivetran em Partner Connect no seu workspace tiver um ícone de marca de seleção dentro dele, o senhor poderá obter os detalhes da conexão para o SQL warehouse conectado clicando no bloco e, em seguida, expandindo Connection details . Os tokens de acesso pessoal estão ocultos; o senhor deve criar um token de acesso pessoal substituto e inserir esse novo token quando o site Fivetran o solicitar.

Etapas manuais

Para se conectar ao Fivetran manualmente, faça o seguinte:

1. Entre em seu site Fivetran account, ou crie um novo Fivetran account, em https://fivetran.com/login.

important

Se o senhor entrar no site Fivetran account da sua organização, uma página Choose Destination (Escolher destino ) poderá ser exibida, listando uma ou mais entradas de destino existentes com o logotipo Databricks. Essas entradas podem conter detalhes de conexão para compute recurso em um espaço de trabalho separado do seu . Se o senhor ainda quiser reutilizar uma dessas conexões e confiar no recurso compute e tiver acesso a ele, escolha esse destino e passe para as próximas etapas. Caso contrário, escolha qualquer destino disponível para passar por esta página.

2. Em sua página Dashboard em Fivetran, clique em Destinations tab.

3. Clique em Adicionar destino .

4. Insira um nome de destino e clique em Adicionar .

5. Na página Fivetran is modern ELT , clique em Set up a connector (Configurar um conector ).

6. Clique em uma fonte de dados e, em seguida, clique em Next .

7. Siga as instruções na tela do guia Setup em Fivetran para concluir a configuração do conector.

8. Clique em Salvar & Test .

9. Depois que o teste for bem-sucedido, clique em Continuar .

10. Na página Select your data's destination (Selecione o destino de seus dados ), clique em Databricks on Google Cloud .

11. Clique em Continuar configuração .

12. Siga as instruções na tela em Fivetran para inserir os detalhes da conexão do recurso Databricks compute existente, especificamente os valores dos campos Server Hostname e HTTP Path e os tokens gerados anteriormente.

13. Clique em Salvar & Test .

14. Depois que o teste for bem-sucedido, clique em Continuar.

15. Continue com as próximas etapas.

Recurso adicional

Explore um ou mais dos seguintes recursos no site Fivetran:

• Introdução
• Arquitetura
• Conectores
• Destinos
• Visão geral da sincronização
• Transformações
• Documentação do Fivetran
• Suporte da Fivetran