Lakehouse Federation: Migrar conexões de federação de consulta herdadas

Se o senhor tiver configurado conexões de federação de consultas herdadas, o site Databricks recomenda que as migre para usar a lakehouse Federation.

A federação de consultas herdada envolvia a criação de tabelas em Databricks que faziam referência a uma fonte de dados externa. Para "mover" essas tabelas para Unity Catalog usando o lakehouse Federation, o senhor deve criar uma conexão lakehouse Federation e um catálogo externo para o banco de dados que inclui a tabela. Em seguida, o senhor pode conceder acesso de usuário ao catálogo ou a esquemas e tabelas no catálogo, usando o Unity Catalog.

Um único catálogo estrangeiro pode ser capaz de cobrir várias tabelas que você configurou para federação de consultas legadas.

No exemplo a seguir:

• A "Legacy syntax" (Sintaxe herdada) tab mostra a sintaxe usada para criar uma tabela chamada postgresql_table em Databricks que faz referência a my-postgres-table no banco de dados my-postgres-database no servidor postgres-demo.lb123.us-west-2.rds.amazonaws.com:5432.
• A "lakehouse Federation" tab mostra a criação de uma conexão com o servidor postgres-demo.lb123.us-west-2.rds.amazonaws.com:5432, seguida da criação de um catálogo externo, my-postgres-catalog, que mapeia o banco de dados my-postgres-database.

Legacy syntax

SQL

CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
    dbtable 'my-postgres-table',
    host 'postgres-demo.lb123.us-west-2.rds.amazonaws.com',
    port '5432',
    database 'my-postgres-database',
    user 'postgres_user',
    password 'password123'
);

Lakehouse Federation

SQL

--Create a connection:
CREATE CONNECTION postgres-connection TYPE postgresql
OPTIONS (
    host 'postgres-demo.lb123.us-west-2.rds.amazonaws.com',
    port '5432',
    user 'postgres_user',
    password 'password123'
);

--Create a foreign catalog that mirrors the database:
CREATE FOREIGN CATALOG my-postgres-catalog USING CONNECTION postgres-connection
OPTIONS (database 'my-postgres-database');

O catálogo externo apresentará my-postgres-table e todas as outras tabelas em my-postgres-database, e o senhor pode usar Unity Catalog para gerenciar o acesso a essas tabelas a partir do seu Databricks workspace.

nota

Sua configuração original da federação de consultas pode incluir opções que não estão disponíveis na lakehouse Federation. Talvez o senhor não precise dessas opções quando mudar para a Lakehouse Federation, mas, se precisar delas, poderá continuar a usar a conexão legada da federação de consultas em vez de migrar.

Instruções detalhadas para criar conexões e catálogos estrangeiros estão disponíveis para cada tipo de conexão compatível. Consulte os artigos para seu tipo de conexão, listados na tabela de conteúdo no painel de navegação esquerdo deste site de documentação.