Comece com a escala automática Lakebase
Lakebase autoscale é a versão mais recente do Lakebase, com recursos como autoscale compute, escala-to-zero, branching e instant restore. Para regiões compatíveis, consulte Disponibilidade por região. Se você é usuário de provisionamento Lakebase , consulte ProvisionamentoLakebase.
Ao final deste guia, você terá um banco de dados Postgres em funcionamento com dados de exemplo, conectado ao Unity Catalog, com dados fluindo entre Lakebase e o Databricks lakehouse.
os passos: ① Criar um projeto → ② Conectar → ③ Criar uma tabela → ④ Registrar no Unity Catalog → ⑤ Servir dados → ⑥ Replicar
o passo 1: Crie seu primeiro projeto
Abra o aplicativo Lakebase no seletor de aplicativos.
Selecione "Autodimensionar" para acessar a interface de usuário de dimensionamento automático do Lakebase.
Clique em Novo projeto . Dê um nome ao seu projeto e selecione a versão do Postgres. Seu projeto é criado com uma única ramificação production , um banco de dados default databricks_postgres e recurso compute configurado para a ramificação.
Pode levar alguns instantes para que seu compute seja ativado. O compute para o ramo production está sempre ativado por default (escala-to-zero está desativado), mas você pode configurar essa opção, se necessário.
A região do seu projeto é definida automaticamente como a região do seu workspace .
Saiba mais: Criar um projeto | dimensionamento automático | escalar até zero
Passo 2: Conecte-se ao seu banco de dados
No seu projeto, selecione a ramificação de produção e clique em Conectar . As strings de conexão funcionam com qualquer cliente Postgres padrão (psql, pgAdmin, DBeaver ou frameworks de aplicação).
Para conectar-se à sua identidade Databricks , copie o trecho psql da caixa de diálogo de conexão e cole os tokens OAuth quando solicitado:
psql 'postgresql://your-email@databricks.com@ep-abc-123.databricks.com/databricks_postgres?sslmode=require'
Saiba mais: Guia rápido de conexão | psql | pgAdmin | Clientes Postgres
a etapa 3: Crie sua primeira tabela
O editor SQL do Lakebase vem pré-carregado com exemplos de SQL. A partir do seu projeto, selecione a ramificação de produção , abra o Editor SQL e execute as instruções fornecidas para criar uma tabela playing_with_lakebase e inserir dados de exemplo.
Saiba mais: Editor SQL | Editor de Tabelas | Clientes Postgres
o passo 4: registro no Unity Catalog
Seu banco de dados Lakebase está em execução, mas está invisível para o restante da plataforma Databricks até que você o registre no Unity Catalog. Após o registro, você poderá consultar tabelas Lakebase a partir Databricks SQL, join dados operacionais com análises lakehouse e aplicar governança unificada.
No Explorador de Catálogos, crie um novo catálogo com o tipo Lakebase autoscale , apontando para o branch production e o banco de dados databricks_postgres do seu projeto.
Agora você pode consultar um SQL warehouse:
SELECT * FROM lakebase_catalog.public.playing_with_lakebase;
Saiba mais: registro no Unity Catalog
Passo 5: Disponibilize os dados lakehouse em seu aplicativo.
As tabelas sincronizadas trazem dados analíticos do Unity Catalog para o seu banco de dados Lakebase, permitindo que os aplicativos os consultem com leituras transacionais de baixa latência. Crie uma tabela de exemplo do Unity Catalog e, em seguida, sincronize-a com o Lakebase.
Em um SQL warehouse ou Notebook, crie uma tabela de origem:
CREATE TABLE main.default.user_segments AS
SELECT * FROM VALUES
(1001, 'premium', 2500.00, 'high'),
(1002, 'standard', 450.00, 'medium'),
(1003, 'premium', 3200.00, 'high'),
(1004, 'basic', 120.00, 'low')
AS segments(user_id, tier, lifetime_value, engagement);
Agora sincronize esta tabela com o Lakebase. No Explorador de Catálogo, crie uma tabela sincronizada a partir de user_segments com o modo Snapshot , visando o banco de dados databricks_postgres do seu projeto. O modo Snapshot copia os dados apenas uma vez. Para atualizações contínuas, use o modo Acionado ou Contínuo.
Assim que a sincronização for concluída, os dados estarão disponíveis no Lakebase como default.user_segments_synced. Faça a consulta no Editor SQL do Lakebase:
SELECT * FROM "default".user_segments_synced WHERE engagement = 'high';
default Deve ser colocado entre aspas porque é uma palavra-chave reservada do PostgreSQL. O esquema da tabela sincronizada herda o nome do esquema Unity Catalog , portanto, se o seu esquema for nomeado default, você deve sempre colocá-lo entre aspas nas consultas. As aspas em torno de outros identificadores são opcionais.
Suas análises lakehouse agora estão prontas para serem processadas a partir do seu banco de dados transacional.
Saiba mais: Tabelas sincronizadas | Modos de sincronização | Mapeamento de tipos de dados
o passo 6: Replicar para a lakehouse
O Lakehouse Sync está em versão Beta.
lakehouse Sync replica continuamente suas tabelas de escalonamento automático Lakebase para Unity Catalog como tabelas Delta usando captura de dados de alterações (CDC) (CDC). Cada alteração é adicionada como uma nova linha, preservando o histórico completo. Não é necessário nenhum pipeline externo, Job ou Spark .
Para que o CDC funcione, o Postgres precisa registrar os dados completos da linha no log de escrita antecipada (write-ahead log). Defina a identidade da réplica como completa na tabela playing_with_lakebase que você criou anteriormente:
ALTER TABLE playing_with_lakebase REPLICA IDENTITY FULL;
Em seguida, configure a sincronização na tab de sincronização do Lakehouse na visão geral da sua filial. Escolha o esquema public como origem e um catálogo e esquema do Unity Catalog como destino.
Todas as tabelas no esquema de origem são sincronizadas automaticamente. A tabela playing_with_lakebase aparece no seu catálogo de destino como lb_playing_with_lakebase_history. Consulte-o a partir de um SQL warehouse:
SELECT * FROM <catalog>.<schema>.lb_playing_with_lakebase_history LIMIT 10;
Cada linha inclui colunas de sistema _change_type, _timestamp, _lsn e _xid que rastreiam como e quando os dados foram alterados.
Saiba mais: Sincronização do Lakehouse | Mapeamento de tipos de dados | viewespelhada do estado atual
Próximos passos
- Criar um aplicativo: tutorialDatabricks Apps | Aplicativos externos
- Desenvolvimento com branches: tutorialde desenvolvimento baseado em branches
- Configure sua equipe: conceda acesso ao projeto e ao banco de dados.
- Explore a plataforma: Conceitos básicos | Visão geral dos projetos | Todos os tutoriais