Configurer un warehouse de détection
Aperçu
Lakewatch est en aperçu privé. Pour demander l'accès, contactez l'équipe de votre compte Databricks.
Les détections planifiées s’exécutent sur un SQL warehouse que vous fournissez. Lakewatch ne crée pas et ne gère pas ce warehouse. Vous le créez plutôt dans votre Workspace et le sélectionnez lorsque vous créez une détection planifiée. La création et le dimensionnement d'un warehouse nécessitent généralement des autorisations d'administrateur de Workspace ; il s'agit donc généralement d'une tâche de configuration administrateur.
Cette page recommande une configuration de départ pour un warehouse de détection. Vous pouvez partager un seul warehouse entre toutes les détections planifiées dans un workspace.
Configuration recommandée
Pour la plupart des Workspace, start avec un seul SQL Warehouse Serverless partagé par toutes vos détections programmées :
Paramètre | Valeur recommandée |
|---|---|
Type | Serverless |
Taille | XXS |
Clusters (min) | 1 |
Nombre maximal de clusters |
|
Arrêt automatique | 10 minutes |
Un warehouse 2X-Small peut effectuer 100 détections simples ou plus. Un SQL Warehouse étant facturé en fonction de la durée de disponibilité du cluster plutôt que par query, plus vous avez de règles partageant un même warehouse, plus le coût par règle est faible.
Un warehouse qui exécute seulement une ou deux règles peut coûter autant ou plus qu'un compute serverless. L'avantage en termes de coût vient du partage d'un warehouse entre plusieurs détections.
Quand ajuster
Modifiez les default en fonction de votre charge de travail :
- Nombre élevé ou variable de règles : augmentez le nombre maximal de clusters afin que les requêtes ne soient pas mises en file d'attente. L'ajout de clusters (mise à l'échelle horizontale) est le principal levier pour la simultanéité. Chaque cluster fournit environ 10 emplacements de query.
- Détections critiques en termes de latence : définissez un seuil minimum (au moins 2 clusters ou plus) ou un arrêt automatique plus long pour éviter les start à froid, à un coût plus élevé.
- Règles peu fréquentes ou sensibles au coût : réduisez l'arrêt automatique à 5 minutes (minimum) pour réduire le temps d'inactivité. Un warehouse à froid redémarre en environ 5 secondes.
- query lourdes ou complexes (query ou jointures importantes) : augmentez la taille du warehouse (petit, moyen ou plus grand). Utilisez une taille plus grande (mise à l'échelle) uniquement lorsqu'une query individuelle nécessite plus de mémoire ou de compute.
Attribution des coûts
Pour effectuer le suivi du coût de détection séparément, utilisez un warehouse dédié aux charges de travail de détection plutôt que d'en partager un avec d'autres activités de query. Comme la facturation est basée sur le temps de disponibilité du cluster, un warehouse dédié permet d'attribuer facilement les coûts à la détection.
Étapes suivantes
- Créer et gérer des règles de détection: sélectionnez ce warehouse lors de la création d’une détection planifiée.