Lakehouse em tempo real
Beta
Este recurso está em Beta. Entre em contato com a equipe da sua conta da Databricks para habilitar este recurso em sua conta.
O Lakehouse//RT está em desenvolvimento ativo. As características de desempenho e o conjunto de recursos suportados podem mudar.
O Lakehouse Real-Time (Lakehouse//RT) é um tipo de SQL warehouse serverless criado para cargas de trabalho de baixa latência e alta simultaneidade, como servir dados analíticos para aplicativos personalizados e agentes de AI, executar analítica operacional ou alimentar dashboards de BI que exigem respostas em sub-segundos para centenas a milhares de usuários concorrentes.
O Lakehouse//RT oferece latência de menos de um segundo em SQL read queries em suas tabelas do Unity Catalog que usam formatos Delta Lake ou Apache Iceberg em cloud storage. Ele consulta suas tabelas no local, portanto você não precisa copiar dados para um banco de dados de serviço de baixa latência separado para obter respostas rápidas. Você cria e gerencia o Lakehouse//RT da mesma forma que outros SQL warehouses. Um administrador de workspace ou usuário privilegiado cria um ou mais por workspace e atribui permissões aos usuários.
Quando usar o Lakehouse//RT
O Lakehouse//RT é adequado para cargas de trabalho que enviam muitas queries de leitura concorrentes e seletivas e precisam que cada uma retorne em menos de um segundo. Use a tabela a seguir para escolher o compute para uma carga de trabalho:
Workload | Compute recomendado |
|---|---|
Queries | Lakehouse//RT |
Queries de longa duração, joins em tabelas grandes, jobs de extract, transform, and load (ETL), escritas ou queries que dependem de comportamento SQL não ANSI | |
Workloads transacionais com inserções, atualizações e exclusões frequentes em nível de linha |
Requisitos
Para usar o Lakehouse//Tempo Real, é preciso:
- Esteja em uma região compatível.
- Tenha o Lakehouse//RT Beta ativado em seu workspace.
Habilite o Lakehouse//RT em seu workspace
Administradores do workspace podem habilitar o Lakehouse//RT Beta em seu workspace:
- No menu do seu workspace (canto superior direito), vá para **Previews**.
- Pesquise por Lakehouse Tempo Real .
- Ativar a pré-visualização.
Depois de habilitar a pré-visualização, o tipo de SQL warehouse Tempo Real fica disponível no fluxo de criação do SQL warehouse para o seu workspace.
Criar um warehouse Lakehouse//RT
Para criar um Lakehouse//RT Warehouse:
- Acesse compute > SQL Warehouses > Criar SQL Warehouse .
- Select tempo real .
- Selecione um Query size : Small , Medium , Large ou X-Large , dependendo do desempenho que suas queries exigem.
- Configure o Autoscaling para determinar o máximo de DBUs que podem ser cobrados por hora.
- Defina a parada automática para controlar quando um warehouse parado é interrompido.
- Insira um nome para o armazém.
- Clique em Criar .
Para atribuir permissões, conceda Pode usar , Pode monitorar ou Pode gerenciar para usuários e grupos, da mesma forma que um SQL warehouse. Consulte ACLs de SQL warehouse. Para as configurações que se aplicam a todos os tipos de SQL warehouse, consulte Criar um SQL warehouse.
Não é possível fazer upgrade de um SQL Warehouse existente para Lakehouse//RT ou fazer downgrade de um Warehouse Lakehouse//RT existente para outro tipo de Warehouse.
Dimensionar e colocar em escala um warehouse Lakehouse//RT
O Lakehouse//RT possui configurações que controlam o desempenho e o custo:
- O tamanho da query controla o compute disponível para uma única query.
- O autoscale controla o quanto o warehouse é escalado para atender a queries concorrentes.
- A parada automática controla por quanto tempo um warehouse parado continua em execução antes de parar.
O tamanho da query e o autoscale funcionam de forma diferente das configurações de tamanho e escala em um SQL warehouse serverless.
Tamanho da query
O tamanho da query define o compute máximo que uma única query pode usar, o que determina a rapidez com que uma query individual pode ser executada. Ele também define o compute mínimo no qual o warehouse é executado e o mínimo pelo qual você é cobrado enquanto o warehouse está ativo.
Você define o tamanho da query ao criar o warehouse. Escolha Small , Medium , Large ou X-Large . Um tamanho maior oferece a cada query mais compute para resultados mais rápidos, a um custo mínimo mais alto.
Esta configuração é semelhante em conceito ao tamanho de um SQL Warehouse serverless, que também define o compute disponível para uma única query.
autoscale
O autoscale permite que um warehouse adicione compute para atender a mais queries concorrentes e depois libere-o quando a demanda cair. Você define a compute máxima para a qual o warehouse pode aumentar em escala, medida em DBUs. Você pode definir o máximo de até 960 DBUs por hora.
O autoscaling no Lakehouse//RT difere do escalonamento de cluster em um SQL warehouse serverless de algumas maneiras:
- É medido em DBUs, não em clusters.
- O máximo é independente do tamanho da query. Consulte Tamanho para concorrência.
- O autoscale do Lakehouse//RT adiciona e remove apenas o compute necessário, em vez de em incrementos de clusters.
Para ver quanto um warehouse está sendo dimensionado, use sua página de monitoramento.
Tamanho para simultaneidade
Para atender a muitas queries concorrentes, escala com autoscale em vez de escolher um tamanho de query maior:
- Escolha o menor tamanho de query que atenda à sua meta de latência para uma única query.
- Defina o máximo de autoscale alto o suficiente para atender ao seu número máximo de queries concorrentes.
- Observe as queries na fila na página de monitoramento. Se as queries entrarem na fila com carga máxima, aumente o máximo de autoscale.
Um único warehouse Lakehouse//RT com um máximo de autoscale alto pode aumentar em escala para servir muitas queries concorrentes sem que você adicione warehouses. Se você precisar de maior simultaneidade, entre em contato com a equipe de account do Databricks.
Parada automática
A parada automática encerra o warehouse após ele ficar parado por um número definido de minutos, para que um warehouse parado não continue acumulando cobranças. Você define o tempo limite de inatividade ao criar o warehouse.
A parada automática no Lakehouse//RT funciona da mesma forma que em um SQL warehouse serverless. Para os valores default e mínimos, consulte Configurar configurações do SQL warehouse.
Monitoramento do lakehouse
Você pode monitorar warehouses Lakehouse//RT e as queries que eles fazem execução da mesma forma que qualquer outro SQL Warehouse:
- História da query : As queries do Lakehouse//RT aparecem na IU de história da query e na tabela do sistema de história da query.
- Perfis de query : abra uma query do Lakehouse//RT na IU de histórico de consultas para view seu perfil de query.
- Página de monitoramento : monitore o throughput de queries, queries em fila e história de queries na página de monitoramento para cada warehouse Lakehouse//RT.
- warehouse : Os warehouse do Lakehouse//RT aparecem na tabela do sistema de warehouse.
- Eventos de warehouse : Os eventos para warehouse Lakehouse//RT aparecem na tabela do sistema de eventos do warehouse.
- Faturamento : o uso do Lakehouse//RT aparece na tabela de uso faturável do sistema com um valor de
billing_origin_productdeLAKEHOUSE_REAL_TIME.
Avalie sua carga de trabalho
Antes de mover uma carga de trabalho para o Lakehouse//RT, teste-a com suas próprias consultas e compare a latência com seu warehouse atual:
- Escolha as queries com mais execuções no seu aplicativo ou dashboard e confirme se as execuções levam alguns segundos em um SQL Warehouse Serverless.
- Crie um warehouse Lakehouse//RT e faça a execução das mesmas queries nele. Use as mesmas tabelas, para que nenhum movimento de dados seja necessário.
- Corrija qualquer query que falhe porque utiliza um recurso não suportado ou excede um guardrail.
- Compare a latência entre os dois warehouses na tabela do sistema de história de queries.
Para comparar a mediana e o 90º percentil de latência entre os dois warehouses, faça a execução da seguinte query e substitua os IDs de espaço reservado pelos IDs do seu warehouse. Você precisa do privilégio SELECT na tabela system.query.history:
SELECT
compute.warehouse_id,
count(*) AS queries,
percentile(total_duration_ms, 0.5) AS p50_ms,
percentile(total_duration_ms, 0.9) AS p90_ms
FROM system.query.history
WHERE compute.warehouse_id IN ('<serverless-warehouse-id>', '<real-time-warehouse-id>')
AND execution_status = 'FINISHED'
AND start_time >= current_timestamp() - INTERVAL 1 DAY
GROUP BY compute.warehouse_id;
A query compara todas as queries finalizadas em cada warehouse no último dia, portanto, os resultados são comparáveis apenas quando ambos os warehouses tiveram a mesma carga de trabalho em execução. Para limitar a comparação às suas queries de teste, defina uma tag de query nelas e filtre na coluna query_tags. Consulte Referência de tabela do sistema de história de queries.
Guardrails
Para proteger a baixa latência de todas as queries, o Lakehouse//RT impõe limites de recurso por query. Uma query que excede um guardrail retorna um erro em vez de ser executada lentamente, portanto, crie queries para permanecer bem dentro desses limites.
Guardrail | Limite | Erro |
|---|---|---|
Runtime da query | 2 minutos |
|
Timeout da instrução | 1 minuto por default. Você pode configurá-lo até o limite de Runtime de query de 2 minutos. |
|
Bytes de embaralhamento gravados por estágio | 300 GB |
|
Tamanho do spill | 30 GB, quando o spill está habilitado |
|
Arquivos listados após a poda | 10.000 arquivos, ajustável até 50.000 |
|
A Databricks pode alterar esses limites. O erro QUERY_RESOURCE_LIMIT_EXCEEDED retorna SQLSTATE 53400.
Use as seguintes abordagens para permanecer dentro dos limites:
- Runtime da query : Uma query que se aproxima do limite não atinge a meta de sub-segundo, mesmo se for concluída. Filtre mais ou pré-agregue.
- Bytes de embaralhamento : Joins amplas ou agregações em tabelas grandes podem exceder o limite. Pré-agregue com views materializadas em vez de fazer join de tabelas grandes no momento da query.
- Arquivos listados : filtre por partições ou colunas de liquid clustering para que a query leia apenas os arquivos de que precisa.
Atualização dos dados
Para manter a latência baixa, o Lakehouse//RT reutiliza metadados de tabela armazenados em cache recentemente. Os resultados da query podem estar alguns segundos atrasados em relação às últimas operações de commit em uma tabela.
Prepare suas cargas de trabalho para o Lakehouse//RT
Prepare suas cargas de trabalho antes de movê-las para o Lakehouse//RT. Para testar uma carga de trabalho de ponta a ponta, consulte Avalie sua carga de trabalho.
- Use tabelas gerenciadas pelo Unity Catalog. As tabelas gerenciadas com otimização preditiva e clustering líquido mantêm seus dados em clusters de acordo com os padrões da sua query.
- Verifique se as consultas são seletivas. Para latência de sub-segundo, verifique se suas consultas verificam menos dados. Filtre antecipadamente com cláusulas
WHERE, selecione apenas as colunas necessárias e baseie-se em agregações. A junção entre tabelas é suportada, mas se você achar que sua query está ficando complexa ou lenta, considere usar views materializadas que pré-agregam seus dados para latências mais rápidas. - Verifique a cobertura do SQL. O Lakehouse//RT é compatível apenas com queries de leitura compatíveis com ANSI e
CREATE TABLE AS SELECT(CTAS). Confirme se as suas cargas de trabalho são compatíveis com ANSI e evite as instruções, funções e tipos de dados não suportados listados em Limitações.
Recursos compatíveis
Esta seção lista as ferramentas, tipos de tabela e métodos de conexão que o Lakehouse//RT suporta. Para saber o que não é suportado, consulte Limitações.
Ferramentas e interfaces
Você pode selecionar o Lakehouse//RT no seletor de compute para qualquer um dos seguintes recursos do Databricks:
Para criar dashboards AI/BI em um warehouse Lakehouse//RT, incluindo guardrails e limitações específicas do dashboard, consulte Criar dashboards AI/BI no Lakehouse Real-Time.
Tipos de tabela
As queries do Lakehouse//RT apenas utilizam dados do Unity Catalog. Para melhor desempenho, use tabelas gerenciadas do Unity Catalog, que fornecem ao mecanismo a disposição de dados de que ele precisa para baixa latência.
Lakehouse//RT é compatível com os seguintes tipos de tabela:
- Tabelas gerenciadas (tabelas Delta Lake e Apache Iceberg)
- Visualizações materializadas e tabelas de transmissão em fluxo
- Views de métricas
- Tabelas do sistema. O acesso requer o privilégio
SELECTnas tabelas do sistema que você fizer query.
Conectividade
O Lakehouse//RT aceita apenas conexões que utilizam a API de Execução de Instrução. Ele não é compatível com o protocolo Thrift legado. Um driver que envia queries para um warehouse do Lakehouse//RT pelo Thrift recebe um erro com SQLSTATE KP001.
Para conectar um aplicativo personalizado ou agente de AI, consulte Criar aplicativos e agentes no Lakehouse Real-Time.
É possível conectar-se a um warehouse Lakehouse//RT das seguintes maneiras:
-
API de execução de instrução: Chame a API diretamente de aplicativos externos. Veja API de execução de instrução: execução de SQL em warehouse. Duas versões estão disponíveis:
- API de execução de instruções versão 2: use esta versão para obter o melhor desempenho do Lakehouse//RT. Ele é otimizado para warehouse do Lakehouse//RT, com menor latência e simultaneidade mais alta, e recebe
warehouse_idcomo parâmetro de caminho em cada chamada. Atualmente, oferece suporte apenas a warehouse do Lakehouse//RT. - API de execução de instruções versão 1: funciona com todos os tipos de SQL warehouse. Você também pode realizar a execução de instruções em warehouses Lakehouse//RT com a versão 1, mas a versão 2 é otimizada para eles.
- API de execução de instruções versão 2: use esta versão para obter o melhor desempenho do Lakehouse//RT. Ele é otimizado para warehouse do Lakehouse//RT, com menor latência e simultaneidade mais alta, e recebe
-
Drivers do Databricks: Aponte o caminho HTTP do driver para seu warehouse Lakehouse//RT e use pelo menos a versão listada para o driver. A partir dessas versões, o driver detecta automaticamente o Lakehouse//RT e usa o caminho de conexão otimizado para ele, sem necessidade de configuração. Versões anteriores podem se conectar com a configuração listada, mas com desempenho inferior. O Databricks recomenda a versão mais recente do driver para obter todos os recursos e o melhor desempenho.
- Databricks SQL Connector for Python: 4.9.0, instalado com o extra
kernel. Versões anteriores: definiruse_kernel=True. - Databricks SQL Driver for Node.js: 3.0.0. Versões anteriores: definir
useKernel: true. - Databricks SQL Driver for Go: 1.19.0, construído com a tag
databricks_kernel. Versões anteriores: definirWithUseKernel(true). - JDBC: 3.4.5. Versões anteriores: definir
UseThriftClient=0na URL de conexão. - Driver ODBC Databricks OSS (Beta): 0.8.0. Nenhuma configuração adicional é necessária.
- Databricks SQL Connector for Python: 4.9.0, instalado com o extra
Um driver definido explicitamente para usar Thrift, com use_kernel=False, useKernel: false, WithUseKernel(false) ou UseThriftClient=1, falha em um warehouse Lakehouse//RT com SQLSTATE KP001.
-
Ferramentas suportadas: as ferramentas a seguir conectam-se ao Lakehouse//RT por meio de seus próprios conectores:
- Power BI (via driver ADBD): Defina
Implementation=2.0eProtocol=REST(SEA)em Opções avançadas . - Add-in do Excel do Databricks: Selecione seu Warehouse do Lakehouse//RT no seletor de compute do add-in. Apenas importações são compatíveis.
- Power BI (via driver ADBD): Defina
Geoespacial
O Lakehouse//RT é compatível com os tipos de dados GEOGRAPHY e GEOMETRY e com as funções st_ e h3_, exceto as listadas em Limitações.
Controle de acesso detalhado
O Lakehouse//RT oferece suporte a queries de leitura em tabelas, views materializadas e tabelas de transmissão protegidas por filtros de linha e máscaras de coluna, incluindo filtros e máscaras integrados do Unity Catalog. Os filtros e as máscaras podem ser atribuídos diretamente a uma tabela ou aplicados por meio de políticas de controle de acesso baseado em atributos (ABAC). Veja Filtros de linha e máscaras de coluna e Controle de acesso baseado em atributos no Unity Catalog.
Use um compute compatível com o gerenciamento de políticas, como um SQL warehouse serverless, para criar ou alterar filtros de linha, máscaras de coluna e políticas ABAC. O Lakehouse//RT aplica políticas existentes ao ler tabelas. Ele não oferece suporte a declarações de gerenciamento de políticas ou gravações em tabelas com políticas. Para restrições de query, consulte Limitações de controle de acesso granular.
Tipos de resultado de máscara de coluna
O Lakehouse//RT converte o resultado de uma máscara de coluna de volta para o tipo de dados declarado da coluna usando semântica ANSI. Isso se aplica a máscaras de nível de tabela e máscaras ABAC. Se o resultado não puder ser convertido para o tipo da coluna, a query falhará.
Por exemplo:
- Uma máscara que retorna a string
'REDACTED'para uma colunaBOOLEANcausa falha na query porque a string não pode ser convertida paraBOOLEAN. - Uma máscara que retorna
FALSEpara uma colunaINTproduz o inteiro0.
No Databricks Runtime, uma máscara de coluna ao nível da tabela expõe o tipo de retorno da máscara à query. Mover a mesma query para o Lakehouse//RT pode alterar o seu tipo de resultado ou causar um erro de cast. As máscaras ABAC convertem os resultados de volta para o tipo de coluna tanto no Databricks Runtime quanto no Lakehouse//RT. O Databricks recomenda funções de máscara que retornam o mesmo tipo da coluna.
Planos e perfis de query para tabelas protegidas
Para queries que usam filtros de linha ou máscaras de coluna, o Lakehouse//RT limita os detalhes mostrados na saída EXPLAIN e nos perfis de query para proteger informações sobre os dados subjacentes e a lógica da política:
EXPLAINa saída oculta os passos da query que leem dados protegidos ou aplicam políticas. Também omite estatísticas do plano.- Os perfis de query ocultam os passos de query e omitem estatísticas de tabelas protegidas.
Solução de problemas
A tabela a seguir lista erros comuns e como resolvê-los:
Erro | Causa | Resolução |
|---|---|---|
Erro de protocolo Thrift (SQLSTATE | O driver se conecta via Thrift. | Configure o driver para usar a API de Execução de Consulta. Consulte Conectividade. |
| A query usa uma instrução, função, tipo de dados ou tipo de tabela que o Lakehouse//RT não suporta. A mensagem nomeia o recurso. | Reescreva a query para evitar o recurso ou faça a execução dela em um SQL Warehouse Serverless. Consulte Limitações. |
| A query excede um limite de segurança. A subclasse de erro ( | Filtre mais cedo, selecione menos colunas ou faça uma pré-agregação com views materializadas. Veja Guardrails. |
| A execução da query dura mais tempo do que o tempo limite da instrução. | Otimize a query ou aumente o limite de tempo da instrução até o limite de runtime da query. |
Um erro de conversão em uma tabela com uma máscara de coluna | A máscara retorna um valor que não pode ser convertido para o tipo da coluna. | Use uma função de máscara que retorna o tipo de dados da coluna. Consulte Tipos de resultado de máscara de coluna. |
| Um firewall de armazenamento bloqueia o compute serverless. | Configure seu firewall para compute serverless. Consulte Configuração de firewall de compute Serverless. |
Se um problema persistir, colete as seguintes informações e entre em contato com o suporte do Databricks:
- A mensagem de erro.
- Uma exportação do perfil da query, incluindo o texto da query não processado.
- Se a execução da query ocorrer em um AI/BI dashboard, um Link para o dashboard.
- Confirmação de que a mesma query tem execução em um SQL Warehouse Serverless.
preços
Para obter informações sobre preços, consulte a página de preços do Databricks.
Limitações
Quando uma consulta usa um recurso não compatível, o Lakehouse//RT retorna um erro mencionando o recurso. Para executar a consulta com êxito, tente usar um SQL warehouse serverless em vez disso.
Ferramentas e recursos
Lakehouse//RT não é compatível com os seguintes recursos:
- Genie, incluindo agentes Genie
- Tarefas de jobs
Tipos de tabela
Lakehouse//RT não é compatível com os seguintes tipos de tabela:
- Tabelas em armazenamento default do Unity Catalog
- Tabelas externas no Unity Catalog
- Tabelas do Hive metastore (gerenciadas ou externas)
- Tabelas Externas e Federação de Consultas (Lakehouse Federation)
- Tabelas do Delta Sharing
- Tabelas temporárias
- Tabelas que usam outros formatos de dados (CSV, JSON, Avro, Parquet, ORC e texto)
Limitações de controle de acesso refinado
Consultas envolvendo filtros de linha ou máscaras de coluna têm as seguintes limitações:
- As leituras de feed de dados de alteração usando
table_changesnão são compatíveis com tabelas protegidas. - Políticas ABAC anexadas a views não são suportadas.
- Múltiplos conjuntos de argumentos
DISTINCTem um agregado dentro de uma função de política falham comUNSUPPORTED_FEATURE. Agregados que compartilham os mesmos argumentosDISTINCTe agregados na query externa permanecem suportados.
Conectores e drivers
O Lakehouse//RT não oferece suporte ao Simba Spark ODBC Driver ou ao Databricks ODBC Driver. Use o Databricks OSS ODBC Driver em vez disso.
Linguagem SQL
Lakehouse//RT executa consultas de leitura SQL apenas no modo ANSI. Ele avalia todas as coerções e conversões de tipo implícitas de acordo com as regras estritas do SQL ANSI, e este comportamento não pode ser desativado. Sob a semântica ANSI, consultas que dependiam de comportamento não ANSI podem:
- Gerar um erro de runtime em vez de produzir
NULLsilenciosamente. Por exemplo, converter uma string não numérica em um número. - Gerar um erro em tempo de análise quando não houver um tipo comum seguro. Por exemplo,
COALESCE,CASE,IN, ou operações de conjunto entre tipos incompatíveis. - Retornar um tipo de resultado diferente do modo legado, porque a promoção de string ANSI e o alargamento numérico escolhem tipos seguros e sem perdas.
Para obter resultados previsíveis, use expressões CAST explícitas quando as conversões implícitas do modo ANSI não produzirem o comportamento esperado.
Lakehouse//RT não suporta os seguintes:
- Funções : funções de AI, UDFs do Python e funções XPath e XML.
- Funções espaciais :
st_buffer,st_concavehull,st_simplify,st_envelope_aggest_union_agg. - Funções H3 :
h3_tessellateaswkb,h3_try_tessellateaswkbeh3_getpentagoncellids.
O Lakehouse//RT é para consultas de leitura (SELECT) e CREATE TABLE AS SELECT (CTAS). Outros comandos de gravação e ETL não são compatíveis, incluindo:
- Operações de escrita :
INSERT,UPDATE,DELETEeMERGE. - DDL :
CREATE(além de CTAS),ALTER,DROPe outras declarações que criam ou modificam objetos. - Declarações de segurança :
GRANTeREVOKE. - Scripts, procedimentos armazenados, tabelas temporárias e transações com vários comandos.
- Manutenção do Delta Lake :
OPTIMIZE,ANALYZE,VACUUMeREFRESH.
compliance
O Lakehouse//RT não oferece suporte a perfis de segurança compliance.