Pular para o conteúdo principal
Última atualização em

Lakehouse em tempo real

info

Beta

Este recurso está em Beta. Entre em contato com a equipe da sua conta da Databricks para habilitar este recurso em sua conta.

Lakehouse//RT está em desenvolvimento ativo. As características de desempenho e o conjunto de recursos suportados serão alterados antes da disponibilidade geral.

O Lakehouse Tempo Real (Lakehouse//RT) é um compute serverless desenvolvido para casos de uso de baixa latência e alta simultaneidade, como servir dados analíticos para aplicativos personalizados, executar análises operacionais ou alimentar dashboards de BI que exigem respostas em menos de um segundo para centenas a milhares de usuários concorrentes.

Lakehouse//RT oferece latência em microssegundos em consultas de leitura SQL contra suas tabelas do Unity Catalog que usam os formatos Delta Lake ou Apache Iceberg em armazenamento em nuvem. Cria-se e gerencia-se o Lakehouse de forma muito semelhante a outros SQL warehouses. Um administrador do workspace ou usuário privilegiado cria um ou mais por workspace e atribui permissões a usuários.

Requisitos​

Para usar o Lakehouse//Tempo Real, é preciso:

Habilite o Lakehouse//RT em seu workspace​

Administradores do workspace podem habilitar o Lakehouse//RT Beta em seu workspace:

  1. No menu do seu workspace (canto superior direito), vá para **Previews**.
  2. Pesquise por Lakehouse Tempo Real .
  3. Ativar a pré-visualização.

Depois de habilitar a pré-visualização, o tipo de SQL warehouse Tempo Real fica disponível no fluxo de criação do SQL warehouse para o seu workspace.

Criar um Lakehouse (warehouse RT)​

Para criar um Lakehouse//RT Warehouse:

  1. Acesse compute > SQL Warehouses > Criar SQL Warehouse .
  2. Select tempo real .
  3. Selecione um tamanho: Pequeno , Médio , Grande ou X-Large , dependendo do desempenho que suas consultas exigem.
  4. Insira um nome para o armazém.
  5. Clique em Criar .

Para atribuir permissões, conceda **Can use (Pode usar)**, **Can monitor (Pode monitorar)** ou **Can manage (Pode gerenciar)** a usuários e grupos, o mesmo que a um SQL warehouse.

nota

Não é possível fazer upgrade de um SQL warehouse existente para Lakehouse//RT ou fazer downgrade de um warehouse Lakehouse//RT existente para outro tipo de warehouse.

Monitoramento do lakehouse​

É possível monitorar consultas lakehouse//RT da mesma forma que qualquer consulta executada em um SQL warehouse.

  • Histórico de consultas: as queries Lakehouse//RT aparecem na interface do usuário do histórico de query e na tabela do sistema de histórico de consultas.
  • Perfis de query: Abrir uma query Lakehouse//RT na interface do usuário do histórico de query para visualizar seu perfil de query.
  • Página de monitoramento: Monitore a taxa de transferência de queries, queries enfileiradas e o histórico de queries na página de monitoramento para cada warehouse Lakehouse/RT.
  • Cobrança: A utilização de Lakehouse//RT consta nas tabelas do sistema de cobrança com um sku_name de Lakehouse_Serverless.

Práticas recomendadas​

Para obter os melhores resultados do lakehouse//RT, prepare as suas cargas de trabalho antes de as mover:

  • Valide no SQL serverless primeiro. Execute suas consultas em um SQL warehouse serverless e confirme se elas são executadas em alguns segundos.
  • Use tabelas gerenciadas do Unity Catalog. Tabelas gerenciadas com otimização preditiva e clustering líquido garantem que seus dados estejam bem agrupados para seus padrões de carga de trabalho.
  • Verificar se as consultas são seletivas. Para uma latência inferior a um segundo, verifique se suas consultas leem menores quantidades de dados. Aplique filtros cedo com WHERE cláusulas, selecione apenas as colunas necessárias e utilize agregações. Há suporte para junção entre tabelas, mas caso a consulta se torne complexa ou lenta, considere usar visualizações materializadas que pré-agregam os dados para latências mais rápidas.
  • Verifique a cobertura de SQL. Lakehouse//RT suporta somente consultas de leitura compatíveis com ANSI. Confirme que suas cargas de trabalho são compatíveis com ANSI e evite as declarações, funções e tipos de dados não compatíveis listados em Limitações.

Recursos compatíveis​

Ferramentas e interfaces​

É possível selecionar Lakehouse//RT no seletor de compute em qualquer um dos seguintes recursos do Databricks:

  • Editor de SQL
  • Notebooks SQL
  • Dashboards de IA/BI
  • Explorador de Catálogos
  • Alertas

Tipos de tabela​

Lakehouse//RT consulta apenas dados do Unity Catalog. Para melhor desempenho, utilize tabelas gerenciadas pelo Unity Catalog, que fornecem ao mecanismo a disposição dos dados de que ele precisa para baixa latência.

Lakehouse//RT é compatível com os seguintes tipos de tabela:

  • Tabelas gerenciadas (Delta Lake e Apache Iceberg)
  • Visualizações materializadas e tabelas de transmissão em fluxo
  • Views de métricas

Conectividade​

Lakehouse//RT só aceita conexões que usam a API de Execução de Instruções. Não oferece suporte ao protocolo Thrift herdado, portanto, um driver que se conecta sem usar explicitamente a API de Execução de Instruções recebe um erro 501.

É possível conectar-se a um warehouse Lakehouse//RT das seguintes maneiras:

preços​

Para obter informações sobre preços, consulte a página de preços em tempo real do Lakehouse.

Limitações​

Quando uma consulta usa um recurso não compatível, o Lakehouse//RT retorna um erro mencionando o recurso. Para executar a consulta com êxito, tente usar um SQL warehouse serverless em vez disso.

Ferramentas e recursos​

Lakehouse//RT não é compatível com os seguintes recursos:

  • genie
  • Genie Spaces
  • Tarefas de jobs

Tipos de tabela​

Os seguintes tipos de tabela não são compatíveis durante o Beta:

  • System tables
  • Tabelas do Delta Sharing
  • Tabelas em armazenamento default do Unity Catalog
  • Tabelas externas no Unity Catalog

Lakehouse//RT não é compatível com os seguintes tipos de tabela:

  • Tabelas do Hive metastore (gerenciadas ou externas)
  • Tabelas Externas e Federação de Consultas (Lakehouse Federation)
  • Tabelas temporárias
  • Tabelas que usam outros formatos de dados (CSV, JSON, Avro, Parquet, ORC e texto)

Conectores e drivers​

Lakehouse//RT não oferece suporte aos seguintes drivers e conectores:

  • ADBC
  • ODBC
  • Ir

Linguagem SQL​

Lakehouse//RT executa consultas de leitura SQL no modo ANSI apenas.

Lakehouse//RT não suporta os seguintes:

  • Tipos de dados: os tipos de dados GEOGRAPHY e GEOMETRY.
  • Funções: funções de AI, UDFs de Python, funções SQL espaciais e funções XPath e XML.
  • Governança: controle de acesso baseado em atributos (ABAC), incluindo segurança em nível de linha e mascaramento de coluna.

Lakehouse//RT é somente para consultas de leitura (SELECT). Comandos de gravação e ETL não são suportados, incluindo:

  • Operações de escrita: INSERT, UPDATE, DELETE, MERGE e CREATE TABLE AS SELECT (CTAS).
  • DDL: CREATE, ALTER, DROP, e outros comandos que criam ou modificam objetos.
  • Comandos de segurança: GRANT e REVOKE.
  • Scripts, procedimentos armazenados, tabelas temporárias e transações com vários comandos.
  • Manutenção do Delta Lake: OPTIMIZE, ANALYZE, VACUUM e REFRESH.

Segurança de rede​

Lakehouse//RT não é compatível com as seguintes configurações de rede.

compliance​

Perfis de segurança de compliance não são suportados.

Problemas conhecidos​

  • O Lakehouse//RT aplica verificações de tipo SQL mais rigorosas do que outros tipos de SQL warehouse. Consultas que misturam tipos, como comparar strings e números ou usar COALESCE com tipos incompatíveis, podem se comportar de forma diferente ou falhar. Para evitar resultados inesperados, use expressões CAST explícitas.
Nesta página