Pular para o conteúdo principal

Conectar-se a fontes de ingestão gerenciais

As conexões de ingestão gerenciadas do LakeFlow Connect armazenam credenciais de autenticação para suas fontes de dados no Unity Catalog. Qualquer usuário com o privilégio USE CONNECTION na conexão pode criar pipelines de ingestão gerenciados de fontes como Salesforce e SQL Server.

Um usuário administrador deve criar a conexão se os usuários que criarão pipelines forem usuários não administradores ou usarão interfaces programáticas. Essas interfaces exigem que uma conexão existente seja especificada ao criar um pipeline.

Como alternativa, os usuários administradores podem criar uma conexão e um pipeline ao mesmo tempo na UI de ingestão de dados. Consulte gerenciar conectores em LakeFlow Connect.

Conexões de ingestão versus federação

LakeFlow Connect oferece conectores de ingestão totalmente gerenciáveis para aplicativos corporativos e fontes de banco de dados. O Lakehouse Federation permite consultar fontes de dados externas sem precisar mover seus dados. É possível criar conexões tanto para ingestão quanto para federação de consultas no Explorador de Catálogo.

Requisitos de privilégios

Os privilégios de usuário necessários para se conectar a uma fonte de ingestão gerenciar dependem da interface que o senhor escolher:

Cenário

Interfaces suportadas

Privilégios de usuário necessários

Um usuário administrador cria uma conexão e um pipeline de ingestão ao mesmo tempo.

UI de ingestão de dados

  • CREATE CONNECTION na metastore
  • USE CATALOG no catálogo de destino
  • (Aplicativos SaaS) USE SCHEMA e CREATE TABLE em um esquema existente ou CREATE SCHEMA no catálogo de destino
  • (Bancos de dados) USE SCHEMA, CREATE TABLE e CREATE VOLUME em um esquema existente ou CREATE SCHEMA no catálogo de destino

Um usuário administrador cria uma conexão para usuários não administradores criarem pipeline.

Administrador:

  • Explorador de Catálogos

Não administrador:

  • UI de ingestão de dados
  • Pacotes de Automação Declarativa
  • APIs da Databricks
  • SDKs da Databricks
  • CLI do Databricks

Administrador:

  • CREATE CONNECTION na metastore

Não administrador:

  • USE CONNECTION em uma conexão existente
  • USE CATALOG no catálogo de destino
  • (Aplicativos SaaS) USE SCHEMA e CREATE TABLE em um esquema existente ou CREATE SCHEMA no catálogo de destino
  • (Bancos de dados) USE SCHEMA, CREATE TABLE e CREATE VOLUME em um esquema existente ou CREATE SCHEMA no catálogo de destino

Crie uma conexão

Para obter instruções passo a passo para criar uma conexão do Unity Catalog para uma fonte de ingestão gerenciada específica, consulte a página "Criar uma conexão" do conector na documentação do conector gerenciado.

Próximos passos

Após criar uma conexão com sua fonte de ingestão gerenciada no Catalog Explorer, qualquer usuário com o privilégio USE CONNECTION na conexão pode criar um pipeline de ingestão das seguintes maneiras:

  • Assistente de ingestão (somente conectores compatíveis)
  • Pacotes de Automação Declarativa
  • APIs da Databricks
  • SDKs da Databricks
  • CLI do Databricks

Para instruções de criação de pipeline, consulte a documentação do conector gerenciado.