Pular para o conteúdo principal
Última atualização em

Lakehouse em tempo real

info

Beta

Este recurso está em Beta. Entre em contato com a equipe da sua conta da Databricks para habilitar este recurso em sua conta.

Lakehouse//RT está em desenvolvimento ativo. As características de desempenho e o conjunto de recursos suportados serão alterados antes da disponibilidade geral.

O Lakehouse Tempo Real (Lakehouse//RT) é um compute serverless desenvolvido para casos de uso de baixa latência e alta simultaneidade, como servir dados analíticos para aplicativos personalizados, executar análises operacionais ou alimentar dashboards de BI que exigem respostas em menos de um segundo para centenas a milhares de usuários concorrentes.

Lakehouse//RT oferece latência em microssegundos em consultas de leitura SQL contra suas tabelas do Unity Catalog que usam os formatos Delta Lake ou Apache Iceberg em armazenamento em nuvem. Cria-se e gerencia-se o Lakehouse de forma muito semelhante a outros SQL warehouses. Um administrador do workspace ou usuário privilegiado cria um ou mais por workspace e atribui permissões a usuários.

Requisitos​

Para usar o Lakehouse//Tempo Real, é preciso:

Habilite o Lakehouse//RT em seu workspace​

Administradores do workspace podem habilitar o Lakehouse//RT Beta em seu workspace:

  1. No menu do seu workspace (canto superior direito), vá para **Previews**.
  2. Pesquise por Lakehouse Tempo Real .
  3. Ativar a pré-visualização.

Depois de habilitar a pré-visualização, o tipo de SQL warehouse Tempo Real fica disponível no fluxo de criação do SQL warehouse para o seu workspace.

Criar um Lakehouse (warehouse RT)​

Para criar um Lakehouse//RT Warehouse:

  1. Acesse compute > SQL Warehouses > Criar SQL Warehouse .
  2. Select tempo real .
  3. Selecione um tamanho: Pequeno , Médio , Grande ou X-Large , dependendo do desempenho que suas consultas exigem.
  4. Insira um nome para o armazém.
  5. Clique em Criar .

Para atribuir permissões, conceda **Can use (Pode usar)**, **Can monitor (Pode monitorar)** ou **Can manage (Pode gerenciar)** a usuários e grupos, o mesmo que a um SQL warehouse.

nota

Não é possível fazer upgrade de um SQL warehouse existente para Lakehouse//RT ou fazer downgrade de um warehouse Lakehouse//RT existente para outro tipo de warehouse.

Monitoramento do lakehouse​

É possível monitorar consultas lakehouse//RT da mesma forma que qualquer consulta executada em um SQL warehouse.

  • Histórico de consultas: as queries Lakehouse//RT aparecem na interface do usuário do histórico de query e na tabela do sistema de histórico de consultas.
  • Perfis de query: Abrir uma query Lakehouse//RT na interface do usuário do histórico de query para visualizar seu perfil de query.
  • Página de monitoramento: Monitore a taxa de transferência de queries, queries enfileiradas e o histórico de queries na página de monitoramento para cada warehouse Lakehouse/RT.
  • Cobrança: A utilização de Lakehouse//RT consta nas tabelas do sistema de cobrança com um sku_name de Lakehouse_Serverless.

Práticas recomendadas​

Para obter os melhores resultados do lakehouse//RT, prepare as suas cargas de trabalho antes de as mover:

  • Valide no SQL serverless primeiro. Execute suas consultas em um SQL warehouse serverless e confirme se elas são executadas em alguns segundos.
  • Use tabelas gerenciadas do Unity Catalog. Tabelas gerenciadas com otimização preditiva e clustering líquido garantem que seus dados estejam bem agrupados para seus padrões de carga de trabalho.
  • Verificar se as consultas são seletivas. Para uma latência inferior a um segundo, verifique se suas consultas leem menores quantidades de dados. Aplique filtros cedo com WHERE cláusulas, selecione apenas as colunas necessárias e utilize agregações. Há suporte para junção entre tabelas, mas caso a consulta se torne complexa ou lenta, considere usar visualizações materializadas que pré-agregam os dados para latências mais rápidas.
  • Verifique a cobertura de SQL. Lakehouse//RT suporta somente consultas de leitura compatíveis com ANSI. Confirme que suas cargas de trabalho são compatíveis com ANSI e evite as declarações, funções e tipos de dados não compatíveis listados em Limitações.

Recursos compatíveis​

Ferramentas e interfaces​

É possível selecionar Lakehouse//RT no seletor de compute em qualquer um dos seguintes recursos do Databricks:

  • Editor de SQL
  • Notebooks SQL
  • Dashboards de IA/BI
  • Explorador de Catálogos
  • Alertas

Tipos de tabela​

Lakehouse//RT consulta apenas dados do Unity Catalog. Para melhor desempenho, utilize tabelas gerenciadas pelo Unity Catalog, que fornecem ao mecanismo a disposição dos dados de que ele precisa para baixa latência.

Lakehouse//RT é compatível com os seguintes tipos de tabela:

  • Tabelas gerenciadas (Delta Lake e Apache Iceberg)
  • Visualizações materializadas e tabelas de transmissão em fluxo
  • Views de métricas

Conectividade​

Lakehouse//RT só aceita conexões que usam a API de Execução de Instruções. Não oferece suporte ao protocolo Thrift herdado, portanto, um driver que se conecta sem usar explicitamente a API de Execução de Instruções recebe um erro 501.

É possível conectar-se a um warehouse Lakehouse//RT das seguintes maneiras:

preços​

Para obter informações sobre preços, consulte a página de preços em tempo real do Lakehouse.

Limitações​

Quando uma consulta usa um recurso não compatível, o Lakehouse//RT retorna um erro mencionando o recurso. Para executar a consulta com êxito, tente usar um SQL warehouse serverless em vez disso.

Ferramentas e recursos​

O Lakehouse//RT ainda não oferece suporte para os seguintes recursos:

  • genie
  • Agentes do Genie
  • Tarefas de jobs

Tipos de tabela​

Os seguintes tipos de tabela ainda não são suportados:

  • System tables
  • Tabelas do Delta Sharing
  • Tabelas em armazenamento default do Unity Catalog
  • Tabelas externas no Unity Catalog

Lakehouse//RT não é compatível com os seguintes tipos de tabela:

  • Tabelas do Hive metastore (gerenciadas ou externas)
  • Tabelas Externas e Federação de Consultas (Lakehouse Federation)
  • Tabelas temporárias
  • Tabelas que usam outros formatos de dados (CSV, JSON, Avro, Parquet, ORC e texto)

Conectores e drivers​

Lakehouse//RT não oferece suporte aos seguintes drivers e conectores:

  • ADBC
  • ODBC
  • Ir

Linguagem SQL​

Lakehouse//RT executa consultas de leitura SQL no modo ANSI apenas.

Lakehouse//RT não suporta os seguintes:

  • Tipos de dados: os tipos de dados GEOGRAPHY e GEOMETRY.
  • Funções: funções de AI, UDFs de Python, funções SQL espaciais e funções XPath e XML.
  • Governança: controle de acesso baseado em atributos (ABAC), incluindo segurança em nível de linha e mascaramento de coluna.

Lakehouse//RT é somente para consultas de leitura (SELECT). Comandos de gravação e ETL não são suportados, incluindo:

  • Operações de escrita: INSERT, UPDATE, DELETE, MERGE e CREATE TABLE AS SELECT (CTAS).
  • DDL: CREATE, ALTER, DROP, e outros comandos que criam ou modificam objetos.
  • Comandos de segurança: GRANT e REVOKE.
  • Scripts, procedimentos armazenados, tabelas temporárias e transações com vários comandos.
  • Manutenção do Delta Lake: OPTIMIZE, ANALYZE, VACUUM e REFRESH.

Segurança de rede​

O Lakehouse//RT ainda não oferece suporte para as seguintes configurações de rede:

compliance​

Perfis de segurança de compliance não são atualmente suportados.

Problemas conhecidos​

  • O Lakehouse//RT aplica regras de coerção de tipo implícitas e de conversão diferentes do que outros tipos de SQL warehouse. Consultas que dependem de conversão de tipo implícita, como comparar strings e números, realizar operações aritméticas em valores de string ou usar COALESCE em tipos incompatíveis, podem retornar tipos ou valores de resultado diferentes, ou falhar. Para obter resultados previsíveis, use expressões CAST explícitas.
Nesta página