Trabalhe com tabelas estrangeiras
As tabelas estrangeiras , às vezes chamadas de tabelas federadas , são tabelas registradas usando o Unity Catalog como parte de um catálogo estrangeiro. As tabelas estrangeiras contêm dados e metadados gerenciados por sistemas externos, com o site Unity Catalog adicionando governança de dados para consultar essas tabelas.
O Databricks oferece suporte aos seguintes métodos de registro de tabelas estrangeiras:
- A lakehouse Federation usa conexões seguras JDBC para se federar a sistemas de dados externos, como PostgreSQL e MySQL. Veja o que é Lakehouse Federation?
- Hive metastore A federação acrescenta Unity Catalog governança de dados às tabelas gerenciar por a Hive metastore. Consulte Hive metastore federação: habilite Unity Catalog para governar tabelas registradas em um Hive metastore.
Todas as tabelas em um catálogo externo são tabelas estrangeiras, e as tabelas estrangeiras devem residir em um catálogo estrangeiro.
Para compatibilidade retroativa com as cargas de trabalho legadas Apache Spark e Databricks, as tabelas estrangeiras em um Hive metastore federado retornam metadados de Hive metastore, incluindo se a tabela é uma tabela gerenciar Hive ou uma tabela externa Hive.
Por que usar uma mesa estrangeira?
As tabelas estrangeiras proporcionam flexibilidade ao integrar o Databricks aos sistemas de dados existentes ou ao migrar de sistemas legados.
Muitas tabelas estrangeiras servem como soluções temporárias para acesso direto a dados não gerenciados pelo site Databricks, pois fornecem soluções rápidas sem exigir migração de dados ou refatoração de código para o fluxo de trabalho upstream ETL. Databricks recomenda a migração de conjuntos de dados que geram cargas de trabalho de produção ou são consultados com frequência para Unity Catalog gerenciar tabelas, pois as tabelas gerenciar oferecem o melhor desempenho e têm muitas otimizações integradas.
A Lakehouse Federation oferece uma solução complementar para carregar dados de sistemas de dados externos não compatíveis com o site LakeFlow Connect. Databricks recomenda o uso da visualização materializada para replicar tabelas estrangeiras para Unity Catalog. Consulte Carregar dados de tabelas externas com visualização materializada.
Criar ou gravar em tabelas estrangeiras
Se o senhor tiver privilégios suficientes e o seu workspace tiver sido configurado com um Hive metastore federado interno, poderá criar ou gravar em tabelas estrangeiras apoiadas por um Hive metastore federado interno. As tabelas externas federadas re:[HMS] e todas as tabelas externas apoiadas pela lakehouse Federation são somente leitura.
Databricks não gerencia os metadados, os dados ou a semântica para gravações em tabelas estrangeiras. As tabelas estrangeiras podem ser apoiadas por um formato compatível com ACID, como Delta Lake, mas as tabelas estrangeiras não oferecem as garantias transacionais das tabelas gerenciais Unity Catalog.
A maioria das otimizações do Databricks para desempenho de consultas, velocidade de gravação aprimorada, omissão de dados e consultas somente de metadados exige o Delta Lake e o Unity Catalog. Databricks recomenda comparar o desempenho de consultas de leitura e gravação entre tabelas estrangeiras e Unity Catalog gerenciar tabelas usando a versão mais recente do Databricks Runtime para avaliar as diferenças de latência e custo.