Federação Lakehouse: Migrar conexões de federação de consultas legadas

Se você configurou conexões de federação query herdadas, o Databricks recomenda migrá-las para usar a federaçãolakehouse .

A federação query herdada envolvia a criação de tabelas em Databricks que faziam referência a uma fonte de dados externa. Para “mover” essas tabelas para o Unity Catalog usando a federação lakehouse , você deve criar uma conexão de federação lakehouse e um catálogo externo para o banco de dados que inclui a tabela. Você pode conceder acesso de usuário ao catálogo ou a esquemas e tabelas no catálogo usando o Unity Catalog.

Um único catálogo externo pode abranger várias tabelas que você configurou para a federação query herdada.

No seguinte exemplo:

• A guia “Sintaxe herdada” mostra a sintaxe que foi usada para criar uma tabela chamada postgresql_table no Databricks que faz referência a my-postgres-table no banco de dados my-postgres-database no servidor postgres-demo.lb123.us-west-2.rds.amazonaws.com:5432 .

• A tab “ lakehouse Federation” mostra a criação de uma conexão com o servidor postgres-demo.lb123.us-west-2.rds.amazonaws.com:5432, seguida pela criação de um catálogo estrangeiro, my-postgres-catalog que mapeia para atab my-postgres-database da ase.

CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
    dbtable 'my-postgres-table',
    host 'postgres-demo.lb123.us-west-2.rds.amazonaws.com',
    port '5432',
    database 'my-postgres-database',
    user 'postgres_user',
    password 'password123'
);

--Create a connection:
CREATE CONNECTION postgres-connection TYPE postgresql
OPTIONS (
    host 'postgres-demo.lb123.us-west-2.rds.amazonaws.com',
    port '5432',
    user 'postgres_user',
    password 'password123'
);

--Create a foreign catalog that mirrors the database:
CREATE FOREIGN CATALOG my-postgres-catalog USING CONNECTION postgres-connection
OPTIONS (database 'my-postgres-database');

O catálogo externo exibirá my-postgres-table e todas as outras tabelas em my-postgres-database, e você pode usar o Unity Catalog para gerenciar o acesso a essas tabelas de seu workspace do Databricks.

Observação

Sua configuração de federação query original pode incluir opções que não estão disponíveis na federação lakehouse . Você pode não precisar dessas opções ao mudar para a federação lakehouse , mas se precisar delas, poderá continuar a usar a conexão de federação query herdada em vez de migrar.

Instruções detalhadas para criar conexões e catálogos estrangeiros estão disponíveis para cada tipo de conexão com suporte. Consulte os artigos para o seu tipo de conexão, listados no sumário no painel de navegação esquerdo deste site de documentação.