Use o Lakehouse Real-Time com dashboards de AI/BI

info

Beta

O Lakehouse Real-Time (Lakehouse//RT) está em Beta e em desenvolvimento ativo. As características de desempenho e o conjunto de recursos compatível mudarão antes da disponibilidade geral. Para habilitá-lo na sua account, entre em contato com a equipe da sua account Databricks.

Você pode usar um warehouse Lakehouse//RT para alimentar dashboards de AI/BI que exigem respostas em menos de um segundo para centenas a milhares de usuários concorrentes. Use o Lakehouse//RT para criar novos dashboards que se enquadrem nas limitações atuais. Não é recomendável migrar um dashboard existente, pois os dashboards existentes geralmente dependem de funcionalidades que o Lakehouse//RT ainda não oferece, como Genie, tabelas externas ou materialização de views métricas.

Uso previsto

O Lakehouse//RT oferece latência inferior a um segundo para queries seletivas que leem uma pequena quantidade de dados. Ele não acelera queries dispendiosas, como aquelas que examinam grandes quantidades de dados ou fazem join entre muitas tabelas grandes.

As proteções do Lakehouse//RT (consulte Guardrails) impõem limites rígidos, em vez de sofrerem uma degradação gradual, portanto prepare suas cargas de trabalho antes de movê-las para um warehouse do Lakehouse//RT:

• Otimize query dispendiosas filtrando-as antecipadamente para que analisem menos dados.
• Pré-agregue os resultados com visualizações materializadas quando um dashboard ler muito menos dados do que verifica.

Configure um dashboard em um warehouse do Lakehouse//RT

Para publicar um AI/BI dashboard com execução no Lakehouse//RT, crie o warehouse e selecione-o como warehouse do dashboard:

1. Crie um warehouse Lakehouse//RT, da mesma forma que qualquer outro SQL warehouse. Consulte Lakehouse Real-Time.
2. Conceda aos usuários a permissão Can use ou superior no warehouse. O warehouse aparecerá no seletor de compute de criação do dashboard para esses usuários.
3. No seu painel, selecione o warehouse Lakehouse//RT como o warehouse do painel.
4. Publique o dashboard como de costume.

Barreiras de segurança

Para proteger o serviço compartilhado de baixa latência, o Lakehouse//RT impõe limites de recursos por query. Uma query de dashboard que exceda um limite de proteção retorna um erro em vez de ser executada lentamente; portanto, projete suas queries para permanecerem confortavelmente dentro desses limites.

Esses valores foram definidos durante os testes Beta e podem mudar antes da disponibilidade geral:

• Runtime da query : 2 minutos. O Lakehouse//RT cancela uma query de widget que possui uma execução mais longa. Uma query que se aproxima desse limite não atingirá a meta de menos de um segundo, mesmo se for concluída, e terá maior probabilidade de atingir os limites de shuffle ou spill abaixo. Trate isso como um sinal para filtrar mais ou fazer uma pré-agregação.
• Tempo limite da instrução : 1 minuto por default. Você pode configurar o tempo limite por instrução até o limite de Runtime de 2 minutos da query.
• Bytes de shuffle gravados por estágio : 300 GB. Joins amplos ou agregações em tabelas grandes podem exceder esse limite. Se uma query o exceder, faça pré-agregação com views materializadas em vez de fazer join de tabelas grandes no momento da query.
• Tamanho do spill : 30 GB, quando o spill está habilitado.
• Listagem de arquivos após a remoção : 10.000 arquivos, ajustável para até 50.000. Se uma query exceder esse limite, filtre pelas colunas de partição ou de liquid clustering para que o dashboard leia apenas os arquivos necessários.

Limitações

Os painéis em um warehouse Lakehouse//RT herdam todas as limitações do Lakehouse//RT, incluindo suporte apenas a tabelas gerenciadas pelo Unity Catalog e apenas a queries SELECT compatíveis com ANSI. Converta outros tipos de tabela, como tabelas externas, em tabelas gerenciadas antes de query-las.

As limitações a seguir são específicas dos dashboards publicados com um warehouse Lakehouse//RT:

• O Genie não é compatível.
• A materialização de views de métricas locais não é compatível.

Obter ajuda

Se continuar enfrentando problemas com um dashboard no Lakehouse//RT, colete as seguintes informações e entre em contato com o suporte da Databricks:

• As mensagens de erro que você vê.
• Uma exportação do perfil da sua query, incluindo o texto bruto da query.
• Um link para o seu dashboard.
• Confirmação de que o mesmo erro não ocorre em um SQL warehouse serverless.