Configurar um warehouse de detecção
Visualização
O Lakewatch está em Visualização privada. Para solicitar acesso, entre em contato com a equipe da sua conta da Databricks.
As detecções agendadas são executadas em um SQL warehouse fornecido por você. O Lakewatch não cria ou gerencia este warehouse. Em vez disso, você o cria em seu workspace e o seleciona ao criar uma detecção agendada. A criação e o dimensionamento de um warehouse geralmente requerem permissões de administrador de workspace, portanto, essa é normalmente uma tarefa de configuração do administrador.
Esta página recomenda uma configuração inicial para um warehouse de detecção. Você pode compartilhar um único warehouse em todas as detecções agendadas em um workspace.
Configuração recomendada
Para a maioria dos Workspace, comece com um SQL Warehouse Serverless compartilhado por todas as suas detecções agendadas:
Contexto | Valor recomendado |
|---|---|
Tipo | Serverless |
Tamanho | XXS |
Clusters (mín.) | 1 |
Clusters (máx.) |
|
Parada automática | 10 minutos |
Um warehouse 2X-Small pode executar 100 ou mais detecções simples. Como um SQL warehouse é cobrado pelo tempo de atividade do cluster e não por query, quanto mais regras compartilharem um warehouse, menor será o custo por regra.
Um warehouse cuja execução se limita a uma ou duas regras pode custar o mesmo ou mais do que o compute Serverless. A vantagem de custo vem do compartilhamento de um warehouse em muitas detecções.
Quando ajustar
Altere os valores default com base em sua carga de trabalho:
- Regras numerosas, altas ou explosivas : aumente o número máximo de clusters para que as consultas não fiquem na fila. Adicionar clusters (scaling out) é a principal alavanca para concorrência. Cada cluster fornece aproximadamente 10 slots de query.
- Detecções de latência crítica : defina um piso quente (mínimo de 2 ou mais clusters) ou uma parada automática mais longa para evitar inicializações a frio, a um custo maior.
- Regras poucas, pouco frequentes ou sensíveis a custos : reduza a parada automática para 5 minutos (o mínimo) para reduzir o tempo parado. Um warehouse frio é reiniciado em cerca de 5 segundos.
- Queries pesadas ou complexas (grandes verificações ou joins): aumente o tamanho do warehouse (pequeno, médio ou maior). Use um tamanho maior (aumento de escala) somente quando uma query individual precisar de mais memória ou compute.
Atribuição de custos
Para rastrear o custo de detecção separadamente, use um warehouse dedicado para workloads de detecção em vez de um compartilhamento com outras atividades de query. Como o faturamento é por tempo de atividade do cluster, um warehouse dedicado facilita a atribuição de custo à detecção.
Os passos seguintes
- Criar e gerenciar regras de detecção: selecione este warehouse ao criar uma detecção agendada.