Configurar um warehouse de detecção
Visualização
O Lakewatch está em Visualização privada. Para solicitar acesso, entre em contato com a equipe da sua conta da Databricks.
As detecções agendadas são executadas em um SQL warehouse fornecido por você. O Lakewatch não cria ou gerencia este warehouse. Em vez disso, você o cria em seu workspace e o seleciona ao criar uma detecção agendada. A criação e o dimensionamento de um warehouse geralmente requerem permissões de administrador de workspace, portanto, essa é normalmente uma tarefa de configuração do administrador.
Esta página recomenda uma configuração inicial para um warehouse de detecção. Você pode compartilhar um único warehouse em todas as detecções agendadas em um workspace.
Pré-requisitos
Um warehouse de detecção deve executar o Databricks SQL 2026.35 e acima. O Lakewatch verifica a versão que o warehouse está executando, não sua configuração de canal. Se o Databricks tiver pin seu warehouse em uma versão específica do Databricks SQL, a versão fixada também deve atender a esse mínimo.
Para verificar a versão em que um warehouse está em execução, realize a execução desta query nesse warehouse:
SELECT current_version().dbsql_version;
Consulte a função current_version.
Erros de warehouse sem suporte
Quando o Lakewatch verifica a versão
O Lakewatch valida a versão do warehouse nestes pontos:
- Ao criar uma regra : o Lakewatch rejeita a regra se o seu warehouse não for suportado.
- Quando você altera um SQL warehouse ou principal de execução de uma regra : Lakewatch rejeita a alteração se o warehouse não for compatível.
- Quando o Lakewatch revalida regras existentes : se o warehouse de uma regra existente não for compatível, o Lakewatch parará de executar a regra e registrará um evento de sistema para ela.
Se o Lakewatch não conseguir determinar a versão em que um warehouse está sendo executado, ele trata o warehouse como não suportado.
Usar um warehouse com suporte
Se o Lakewatch rejeitar um warehouse devido à sua versão, a mensagem de erro começará com uma das seguintes opções:
SQL warehouse '<name>' (<id>) is running a version that Lakewatch does not support.Lakewatch could not verify that SQL warehouse '<name>' (<id>) is supported.
Para recuperar:
- Selecione um SQL warehouse que atenda à versão mínima ou entre em contato com o Suporte do Databricks para obter ajuda na atualização do warehouse.
- Tente novamente a criação ou atualização da regra.
Se você alterar uma regra existente para um warehouse suportado diferente, o Lakewatch valida novamente a regra imediatamente. Se o warehouse atual da regra for atualizado para uma versão suportada, o Lakewatch retoma a execução da regra na próxima vez que a validar novamente.
Um erro diferente significa que o Lakewatch não pôde executar a verificação de versão:
Lakewatch could not validate the SQL warehouse runtime. Check warehouse availability and the rule's run-as permissions, then retry.
Nesse caso, verifique se o warehouse está disponível e se o principal de execução da regra pode usá-lo e, em seguida, tente novamente.
Configuração recomendada
Para a maioria dos Workspace, comece com um SQL Warehouse Serverless compartilhado por todas as suas detecções agendadas:
Contexto | Valor recomendado |
|---|---|
Tipo | Serverless |
Tamanho | XXS |
Clusters (mín.) | 1 |
Clusters (máx.) |
|
Parada automática | 10 minutos |
Um warehouse 2X-Small pode executar 100 ou mais detecções simples. Como um SQL warehouse é cobrado pelo tempo de atividade do cluster e não por query, quanto mais regras compartilharem um warehouse, menor será o custo por regra.
Um warehouse cuja execução se limita a uma ou duas regras pode custar o mesmo ou mais do que o compute Serverless. A vantagem de custo vem do compartilhamento de um warehouse em muitas detecções.
Quando ajustar
Altere os valores default com base em sua carga de trabalho:
- Regras numerosas, altas ou explosivas : aumente o número máximo de clusters para que as consultas não fiquem na fila. Adicionar clusters (scaling out) é a principal alavanca para concorrência. Cada cluster fornece aproximadamente 10 slots de query.
- Detecções de latência crítica : defina um piso quente (mínimo de 2 ou mais clusters) ou uma parada automática mais longa para evitar inicializações a frio, a um custo maior.
- Regras poucas, pouco frequentes ou sensíveis a custos : reduza a parada automática para 5 minutos (o mínimo) para reduzir o tempo parado. Um warehouse frio é reiniciado em cerca de 5 segundos.
- Queries pesadas ou complexas (grandes verificações ou joins): aumente o tamanho do warehouse (pequeno, médio ou maior). Use um tamanho maior (aumento de escala) somente quando uma query individual precisar de mais memória ou compute.
Atribuição de custos
Para rastrear o custo de detecção separadamente, use um warehouse dedicado para workloads de detecção em vez de um compartilhamento com outras atividades de query. Como o faturamento é por tempo de atividade do cluster, um warehouse dedicado facilita a atribuição de custo à detecção.
Os passos seguintes
- Criar e gerenciar regras de detecção: selecione este warehouse ao criar uma detecção agendada.