Pular para o conteúdo principal
Última atualização em

Lakehouse Replay

info

Beta

Este recurso está em Beta. Os administradores do workspace podem controlar a ativação desse recurso na página **Pré-visualizações** do workspace. Consulte Gerenciar prévias do Databricks.

O Lakehouse Replay melhora a qualidade e a estabilidade das futuras versões do Databricks Runtime ao reproduzir automaticamente um pequeno subconjunto de cargas de trabalho somente leitura do seu workspace em relação às próximas versões de runtime antes de chegarem à produção. Quando uma carga de trabalho é bem-sucedida em produção, mas falha na próxima versão do runtime, a Databricks identifica e corrige a regressão antes do lançamento dessa versão. Isso torna as atualizações de runtime mais seguras, sem a necessidade de instalação, configuração ou manutenção.

Lakehouse Replay amostra cargas de trabalho apenas de compute serverless, mas as regressões que ele detecta melhoram a cada lançamento do Databricks Runtime, incluindo classic e serverless. A execução em serverless permite que o Databricks realize esses testes em compute gerenciada, assim, o trabalho de repetição não é cobrado.

Como o lakehouse replay funciona​

Lakehouse Replay usa execução de sombra para testar futuras versões do runtime:

  1. As cargas de trabalho são executadas em produção normalmente.
  2. Lakehouse Replay seleciona um pequeno subconjunto de cargas de trabalho seguras e somente leitura para testes.
  3. O Lakehouse Replay reexecuta os planos Spark das cargas de trabalho selecionadas no compute shadow gerenciado pelo Databricks, executando uma próxima versão de runtime.
  4. Se uma carga de trabalho for bem-sucedida em produção, mas falhar no compute shadow, o Databricks investiga e resolve a regressão antes de lançar a versão do runtime.

O compute de sombra executa-se inteiramente dentro do seu workspace do Databricks e não tem impacto sobre suas cargas de trabalho de produção ou Jobs.

Cargas de trabalho compatíveis​

Lakehouse Replay somente reproduz cargas de trabalho que atendam a requisitos de segurança estritos:

  • Cargas de trabalho somente leitura de SQL e DataFrame de SQL warehouses serverless e Notebooks e Jobs serverless.
  • Cargas de trabalho que leem apenas tabelas Delta do Unity Catalog.

Para cargas de trabalho do DataFrame, o Lakehouse Replay reproduz apenas o plano Spark enviado para o cluster de produção. As células Python anteriores não são executadas.

As seguintes cargas de trabalho são excluídas:

  • operações de gravação
  • Funções definidas pelo usuário (UDFs)
  • Funções de AI como ai_query
  • Cargas de trabalho federadas que acessam bancos de dados externos
  • Cargas de trabalho com controle de acesso baseado em atributos ou role-based access control (ABAC/RBAC)

Segurança de dados e privacidade​

O Lakehouse Replay não altera sua postura existente de segurança e privacidade dos dados:

  • Sem exportação de dados : Lakehouse Replay compara apenas o status de execução e as métricas de tempo de execução para detectar discrepâncias. Não lê, exporta ou armazena os resultados da query.
  • Executar com as mesmas permissões : As cargas de trabalho replicadas são executadas com a mesma identidade de usuário da query de produção original e respeitam as permissões do Unity Catalog no momento da replicação.
  • Execução isolada : O compute shadow do Databricks usado para replay é isolado do seu compute de produção e não pode acessar APIs externas, bancos de dados ou outros workspaces.

Cobrança​

O Lakehouse Replay usa compute serverless gerenciado pelo Databricks para executar o replay, e os clientes não são cobrados pelos custos de compute relacionados. Cargas de trabalho reproduzidas podem incorrer em custos mínimos de API de armazenamento de objetos, já que uma carga de trabalho reproduzida lê dados usando as mesmas permissões e caminho de armazenamento que a carga de trabalho original.

Logs de auditoria​

A atividade do Lakehouse Replay é registrada na tabela do sistema de log de auditoria sob o serviço lakehouseReplay. Consulte eventos de repetição do lakehouse.

Perguntas Frequentes​

Preciso fazer algo para usar o Lakehouse Replay?​

Não. Se ativado em seu workspace, o Lakehouse Replay é executado automaticamente sem configuração inicial, configuração ou manutenção.

O Lakehouse Replay afeta minhas cargas de trabalho de produção?​

Não. O Shadow compute é executado separadamente do seu compute de produção e não afeta as cargas de trabalho em execução, as programações de Jobs ou o desempenho de consultas.

Como posso saber se minhas cargas de trabalho estão sendo reproduzidas?​

Cargas de trabalho reproduzidas não aparecem em seu histórico de execuções de job ou histórico de queries. A atividade de Replay do Lakehouse está disponível na tabela do sistema de log de auditoria.

Com que frequência as cargas de trabalho são reexecutadas?​

A frequência de amostragem é probabilística e baseada no tráfego do workspace e no tipo de carga de trabalho. A maioria das cargas de trabalho são reproduzidas em até uma hora da execução original.

E se uma carga de trabalho reproduzida falhar?​

Se uma carga de trabalho falhar no compute sombra, mas for bem-sucedida em produção, a Databricks investiga. Se o Databricks confirmar a falha como uma regressão, o Databricks resolverá o problema antes de lançar a versão do runtime. O Databricks não notifica sobre falhas individuais, a menos que precise de contexto adicional.

Quais tipos de regressões o Lakehouse Replay detecta?​

Lakehouse Replay detecta falhas de execução. Estas são cargas de trabalho que têm sucesso em produção, mas falham na próxima versão do runtime.

Nesta página