O que é o autoscale do Lakebase?

info

O dimensionamento automático do Lakebase está disponível nas seguintes regiões: us-east-1, us-east-2, us-west-2, ca-central-1, sa-east-1, eu-central-1, eu-west-1, eu-west-2, ap-south-1, ap-southeast-1, ap-southeast-2.

O Lakebase autoscale é a versão mais recente do Lakebase, com recursos como autoscale compute, escala-to-zero, branching e instant restore. Se você é usuário de provisionamento Lakebase, consulte Provisionamento Lakebase.

Lakebase Postgres autoscale é um banco de dados Postgres totalmente gerenciado integrado à plataforma Databricks Data Intelligence. Ele foi desenvolvido para qualquer aplicação que exija processamento de transações online (OLTP) e fornecimento de dados de baixa latência. O Lakebase traz essas funcionalidades para o seu lakehouse, permitindo que você crie aplicações transacionais em tempo real juntamente com suas cargas de trabalho analíticas.

O Lakebase Postgres autoscale combina a confiabilidade e a familiaridade do Postgres com recursos modernos de banco de dados, incluindo escalonamento automático, redução para zero, ramificação e restauração instantânea. Esses recursos permitem fluxo de trabalho de desenvolvimento flexível, operações econômicas e iteração rápida.

O diagrama mostra como o Lakebase se integra com o restante da plataforma: Tempo Real Feature Serving para modelos ML e Feature Store, estado do agente para agentes AI e dados transacionais para Databricks Apps ou qualquer aplicativo ao qual você se conecte.

Você pode transferir dados em qualquer direção entre sua lakehouse e o Lakebase. As tabelas sincronizadas movem dados do lakehouse para o Lakebase, permitindo que seus aplicativos os consultem com baixa latência.

O Lakehouse Sync transfere dados do seu aplicativo OLTP no Lakebase de volta para o lakehouse para processamento analítico e subsequente.

Exemplos de casos de uso e tipos de carga de trabalho

A seguir, apresentamos apenas alguns exemplos das muitas maneiras pelas quais você pode usar um banco de dados OLTP Postgres como o Lakebase em diversos setores: recomendações personalizadas e direcionamento de ofertas no comércio eletrônico e varejo, dados de ensaios clínicos e sistemas de recomendação na área da saúde, negociação automatizada e análise de transmissão no setor financeiro e telemetria de máquinas e fluxo de trabalho de manutenção na indústria.

Os tipos de carga de trabalho comuns para bancos de dados OLTP podem incluir os seguintes:

• Servir dados: Servir informações de tabelas de referência para aplicativos com baixa latência e alta taxa de consultas (QPS).
• Armazenar estado da aplicação: gerenciar o fluxo de trabalho e o estado do agente em um armazenamento de dados transacionais.
• Feature Serving: Fornece dados com características extraídas (feature-forving) com baixa latência para modelos ML .

Integração com Databricks

O diagrama acima destaca três casos de uso key para integração:

• Tempo real Feature Serving: Use os projetos do Lakebase como um armazenamento online para modelos ML e Feature Store, para que você possa fornecer dados com recursos (featured) com baixa latência. Consulte Feature Store Online (Lakebase) e Feature Serving.
• Estado do agente para agentes AI : Armazene e gerencie o estado dos agentes AI em um banco de dados transacional, para que as conversas e o contexto do fluxo de trabalho persistam entre as solicitações.
• Dados transacionais para aplicativos: Persista em dados para Databricks Apps ou qualquer aplicativo que você conecte ao Lakebase. Para Databricks Apps, adicione um projeto Lakebase como um recurso de aplicativo. Consulte Adicionar um recurso do Lakebase a um aplicativo Databricks.

Provisão de base do lago

O provisionamento Lakebase é a oferta original do Lakebase que usa compute de provisionamento que você escala manualmente. As instâncias de provisionamento existentes continuam a ser suportadas. O novo desenvolvimento do Lakebase está focado na escalabilidade automática. Se você possui instâncias de provisionamento ou está avaliando ambas as opções, consulte O que é provisionamento do Lakebase? e dimensionamento automático por default.

O que é um projeto?

Os recursos de escalonamento automático do Lakebase são organizados em uma estrutura de projeto . Um projeto é o contêiner de nível superior para seus recursos de banco de dados. Ao criar um banco de dados com escalonamento automático no Lakebase, você cria um projeto. O projeto contém suas ramificações (ambientes de banco de dados), recursos computacionais, funções e bancos de dados. Considere um projeto como a unidade de organização para uma aplicação ou carga de trabalho específica. Você pode ter vários projetos em um workspace, cada um com suas próprias ramificações e dados.

Como os projetos são organizados

Compreender a hierarquia de objetos dentro de um projeto ajuda você a organizar e gerenciar seus recursos:

Databricks Workspace
  └── Project(s)
      └── Branch(es)
          ├── Compute (primary R/W)
          ├── Read replica(s) (optional)
          ├── Role(s)
          └── Database(s)
                 └── Schema(s)

Cada nível na hierarquia serve a um propósito específico:

Objeto	Descrição
Projeto	O contêiner de nível superior para o recurso do seu banco de dados. Um projeto contém ramificações, bancos de dados, funções e recursos compute . Veja gerenciamento de projetos.
Ramo	Um ambiente de banco de dados isolado que compartilha armazenamento com sua filial principal. Cada projeto pode conter várias ramificações. Veja gerenciar filiais.
Compute	O servidor Postgres que alimenta uma filial. Cada filial possui seu próprio compute , que fornece a capacidade de processamento e a memória necessárias para as operações do banco de dados. Veja gerenciar computação.
Base de dados	Um banco de dados Postgres padrão dentro de uma ramificação. Cada filial pode conter vários bancos de dados com suas próprias tabelas, esquemas e dados. Veja gerenciamento de bancos de dados.

Entendendo os ramos

Uma das funcionalidades mais poderosas do Lakebase Postgres é o recurso de ramificação (branching). Assim como os branches do Git para seu código, os branches permitem que você crie ambientes de banco de dados isolados para desenvolvimento e teste, sem afetar a produção.

Por que isso é importante: O fluxo de trabalho tradicional de bancos de dados exige servidores de desenvolvimento e de teste separados, atualização manual de dados e coordenação cuidadosa. Com as filiais, você pode:

• Crie instantaneamente um ambiente de desenvolvimento com dados de produção.
• Teste as alterações de esquema com segurança antes de aplicá-las à produção.
• Recupere-se de erros criando ramificações a partir de qualquer ponto no tempo.
• Pague apenas pelos dados que você alterar, não por bancos de dados duplicados completos.

tópico	Descrição
Galhos	Aprenda como funcionam as filiais, o fluxo de trabalho comum e as melhores práticas para sua equipe.
ger ramos	Criar, redefinir e excluir branches para desenvolvimento e teste.
Ramos protegidos	Proteja os ramos de produção contra alterações e exclusões acidentais.

Conceitos básicos

O Lakebase foi construído com base em diversas inovações key que o diferenciam dos sistemas de banco de dados tradicionais:

• compute e armazenamento separados: dimensione os recursos compute independentemente do armazenamento para obter eficiência de custos e flexibilidade.
• Autoscale: o poder computacional se ajusta automaticamente com base na demanda da carga de trabalho, com suporte para redução a zero durante períodos de parado.
• Armazenamento copy-on-write: Permite ramificação instantânea, onde você paga apenas pelas alterações de dados, e não por duplicatas completas.
• Operações instantâneas em um ponto específico no tempo: Crie ramificações ou restaure para qualquer momento dentro da sua janela de restauração configurada (0 a 30 dias).

Esses conceitos trabalham em conjunto para possibilitar um desenvolvimento flexível, fluxo de trabalho eficiente em termos de custos e recuperação rápida de erros.

Para uma explicação detalhada de cada conceito fundamental, consulte Conceitos fundamentais.