Pular para o conteúdo principal

O que é a Lakehouse Federation?

A lakehouse Federation é a plataforma de federação de consultas para Databricks. O termo federação de consultas descreve um conjunto de recursos que permite que usuários e sistemas executem consultas em várias fontes de dados sem a necessidade de migrar todos os dados para um sistema unificado.

Há dois tipos de federação: federação de consultas e federação de catálogos. Esta página aborda as diferenças entre os tipos.

Federação de consultas em comparação com federação de catálogos​

A tabela a seguir resume as diferenças do key entre a federação de consultas e a federação de catálogos:

Atributo

Federação de consultas

Federação de catálogos

Caminho da consulta

As consultas do Unity Catalog são enviadas para o banco de dados externo usando JDBC. A consulta está sendo executada tanto em Databricks quanto remotamente em compute.

As consultas do Unity Catalog acessam diretamente a tabela externa no armazenamento de objetos. A federação de catálogos está disponível para plataformas que suportam acesso direto ao seu catálogo e serviço de armazenamento. A consulta é executada apenas em Databricks compute, o que significa que a federação de catálogos é mais econômica e otimizada em termos de desempenho do que a federação de consultas.

Caso de uso

  • Você precisa de relatórios ad hoc ou acesso à prova de conceito aos dados operacionais armazenados em bancos de dados externos.
  • Você quer minimizar a movimentação de dados e manter o acesso em tempo real aos sistemas externos.

Quando sua fonte suporta tanto a federação lakehouse quanto o LakeFlow Connect, Databricks recomenda LakeFlow Connect se o desempenho em volumes de dados mais altos e menor latência forem prioridades.

  • Você está migrando para o Unity Catalog, mas precisa incorporar gradualmente os dados gerenciar de um catálogo externo.
  • Você deseja um modelo híbrido de longo prazo, no qual alguns dados permaneçam em um catálogo externo e outros sejam gerenciados por Unity Catalog.

Visão geral das etapas

  1. Crie uma conexão no Unity Catalog com suas credenciais de acesso e URL JDBC.
  2. Crie um catálogo estrangeiro usando a conexão.
  3. Conceda privilégios aos usuários em tabelas no catálogo externo.
  4. execução de consultas. Eles são enviados para o banco de dados externo.
  1. Crie uma conexão no Unity Catalog para acessar o catálogo externo.
  2. Crie uma credencial de armazenamento e um local externo para os caminhos da tabela.
  3. Crie um catálogo estrangeiro usando a conexão e o local externo.
  4. Conceda privilégios aos usuários em tabelas no catálogo externo.
  5. execução de consultas. Essas execuções são realizadas diretamente no armazenamento de objetos.

Fontes de dados compatíveis​

Conecte-se às seguintes fontes usando a federação de consultas:

Conecte-se às seguintes fontes usando a federação de catálogos:

Recurso adicional​

Última atualização em