monitoring de sécurité améliorée
Cette page décrit la fonctionnalité de monitoring de sécurité renforcée et comment la configurer sur votre Workspace Databricks ou votre compte.
L'activation de cette fonctionnalité sur un Workspace ajoute automatiquement le module complémentaire Enhanced Security and conformité tel que décrit sur la page de Tarifs.
Aperçu du monitoring de sécurité renforcé
Le monitoring de sécurité amélioré de Databricks fournit une image disque durcie améliorée et des agents de monitoring de sécurité supplémentaires qui génèrent des lignes de logs que vous pouvez examiner à l'aide des logs d'audit.
Les améliorations de sécurité s'appliquent uniquement aux ressources de calcul dans le plan de calcul classique, tels que les clusters et les SQL Warehouse non Serverless.
Les Ressources du plan de compute Serverless, telles que les SQL Warehouse Serverless, ne bénéficient pas d'un monitoring supplémentaire lorsque la surveillance de sécurité améliorée est activée.
Le monitoring de sécurité renforcé comprend :
-
Une image de système d'exploitation renforcée améliorée basée sur Ubuntu Advantage.
Ubuntu Advantage est un package de sécurité et de support d'entreprise pour les infrastructures et applications open source, qui comprend les éléments suivants :
- Une image renforcée CIS niveau 1.
- Modules de chiffrement validés FIPS 140.
-
Agents antivirus et de monitoring de l'intégrité des fichiers qui génèrent des Logs que vous pouvez examiner.
Agents de monitoring dans les images de plans compute Databricks
Lorsque le monitoring de sécurité renforcé est activé, des agents de monitoring de sécurité supplémentaires sont présents, dont deux agents préinstallés dans l’image du plan de compute amélioré. Vous ne pouvez pas désactiver les agents de monitoring qui se trouvent dans l'image disque du plan de compute améliorée.
Agent de monitoring | Emplacement | Description | Comment obtenir un résultat |
|---|---|---|---|
monitoring de l’intégrité des fichiers | Image de plan de compute améliorée | Surveille l'intégrité des fichiers et les violations des limites de sécurité. Cet agent de surveillance s’exécute sur la VM Worker de votre cluster. | Activez la table système des Logs d'audit et examinez les Logs pour les nouvelles lignes. |
Antivirus et détection de logiciels malveillants. | Image de plan de compute améliorée | Analyse quotidiennement le système de fichiers à la recherche de virus. Cet agent de monitoring s'exécute sur les VM de vos ressources de compute, telles que les clusters et les SQL Warehouses Pro ou Classic. L’agent de détection d’antivirus et de logiciels malveillants analyse l’ensemble du système de fichiers de l’OS hôte et le système de fichiers du conteneur Databricks Runtime. Tout ce qui se trouve en dehors des machines virtuelles (VM) du cluster est en dehors de son champ d’analyse. | Activez la table système des Logs d'audit et examinez les Logs pour les nouvelles lignes. |
Scans de vulnérabilité | L'analyse est effectuée sur des images représentatives dans les environnements Databricks. | Analyse l'hôte de conteneur (VM) à la recherche de certaines vulnérabilités connues et des Vulnérabilités et Expositions Communes (CVE). | Envoyé par e-mail aux administrateurs du workspace Databricks. |
Pour obtenir les dernières versions des agents de monitoring, vous pouvez redémarrer vos clusters. Si votre Workspace utilise la mise à jour automatique de cluster, par default les clusters redémarrent si nécessaire pendant les fenêtres de maintenance planifiées. Si le profil de sécurité de la conformité est activé sur un Workspace, la mise à jour automatique des clusters est activée en permanence sur ce Workspace.
Monitoring de l’intégrité des fichiers
L'image du plan de compute amélioré comprend un service de monitoring de l'intégrité des fichiers qui offre une visibilité d'exécution et une détection des menaces pour les ressources de compute (workers de cluster) dans le plan de compute classique de votre workspace.
La sortie du moniteur d'intégrité des fichiers est générée dans vos logs d'audit, auxquels vous pouvez accéder avec les tables système. Voir la référence des tables système. Pour le schéma JSON des nouveaux événements auditables spécifiques au monitoring de l'intégrité des fichiers, consultez les événements de monitoring de l'intégrité des fichiers.
Il est de votre responsabilité d'examiner ces Logs. Databricks peut, à sa seule discrétion, examiner ces Logs, mais ne s'engage pas à le faire. Si l'agent détecte une activité malveillante, il est de votre responsabilité de trier ces événements et d'ouvrir un ticket d'assistance auprès de Databricks si la résolution ou la remédiation nécessite une action de la part de Databricks. Databricks peut prendre des mesures sur la base de ces Logs, y compris suspendre ou résilier les Ressources, mais ne s'engage pas à le faire.
Détection antivirus et de logiciels malveillants
L'image du plan de compute amélioré comprend un moteur antivirus pour détecter les chevaux de Troie, les virus, les logiciels malveillants et d'autres menaces malveillantes. Le moniteur antivirus analyse l'intégralité du système de fichiers de l'OS hôte et le système de fichiers du conteneur Databricks Runtime. Tout ce qui se trouve en dehors des machines virtuelles du cluster est en dehors de son périmètre d'analyse.
La sortie du moniteur antivirus est générée dans les logs d'audit, auxquels vous pouvez accéder avec les tables système. Pour le schéma JSON des nouveaux événements auditables spécifiques au monitoring antivirus, consultez les événements de monitoring antivirus.
Lorsqu’une nouvelle image de machine virtuelle est créée, les fichiers de signature mis à jour y sont inclus.
Il est de votre responsabilité d'examiner ces Logs. Databricks peut, à sa seule discrétion, examiner ces Logs, mais ne s'engage pas à le faire. Si l'agent détecte une activité malveillante, il est de votre responsabilité de trier ces événements et d'ouvrir un ticket d'assistance auprès de Databricks si la résolution ou la remédiation nécessite une action de la part de Databricks. Databricks peut prendre des mesures sur la base de ces Logs, y compris suspendre ou résilier les Ressources, mais ne s'engage pas à le faire.
Lorsqu'une nouvelle image AMI est construite, des fichiers de signature mis à jour sont inclus dans la nouvelle image AMI.
Analyse des vulnérabilités
Un agent de surveillance des vulnérabilités effectue des analyses de vulnérabilité de l'hôte conteneur (VM) pour certaines CVE connues. Le scanning s'effectue dans des images représentatives des environnements Databricks. Les rapports d'analyse des vulnérabilités sont envoyés par e-mail à tous les administrateurs du Workspace lorsque Databricks publie de nouvelles images disque AMI.
Lorsque des vulnérabilités sont détectées avec cet agent, Databricks les suit par rapport à son SLA de gestion des vulnérabilités et publie une image mise à jour lorsqu'elle est disponible.
Gestion et mise à niveau des agents de monitoring
Les agents de monitoring supplémentaires qui se trouvent sur les images disque utilisées pour les ressources de compute dans le plan de compute classique font partie du processus Databricks standard de mise à niveau des systèmes :
- L'image disque de base (AMI) du plan de compute classique est détenue, gérée et corrigée par Databricks.
- Databricks fournit et applique des correctifs de sécurité en publiant de nouvelles images disque AMI. Le calendrier de livraison dépend des nouvelles fonctionnalités et du SLA pour les vulnérabilités découvertes. La livraison typique a lieu toutes les deux à quatre semaines.
- Le système d'exploitation de base pour le plan de compute est Ubuntu Advantage.
- Les clusters Databricks et les SQL Warehouse professionnels ou classiques sont éphémères par default. Au lancement, les clusters et les SQL warehouses pro ou classiques utilisent la dernière image de base disponible. Les versions plus anciennes, susceptibles de présenter des vulnérabilités de sécurité, ne sont pas disponibles pour les nouveaux clusters.
- Vous êtes responsable du redémarrage des clusters (à l’aide de l’interface utilisateur ou de l’API) régulièrement pour vous assurer qu’ils utilisent les dernières images de VM hôte corrigées.
Surveiller la terminaison de l'agent
Si un agent de surveillance sur la VM Worker est détecté comme étant arrêté en raison d'un crash ou d'une autre terminaison, le système tentera de redémarrer l'agent.
Politique de conservation des données pour l'agent de surveillance
Si vous avez configuré la livraison des Logs d'audit, les Logs de monitoring sont envoyés à la table système des Logs d'audit ou à votre compartiment de livraison des Logs d'audit. La rétention, l'ingestion et l'analyse de ces Logs relèvent de votre responsabilité.
Les rapports et Logs d'analyse des vulnérabilités sont conservés pendant au moins un an par Databricks.
Activer le monitoring de sécurité renforcé de Databricks
- Votre Workspace Databricks doit être au niveau de Tarifs Enterprise.
Pour activer directement le monitoring de sécurité amélioré sur un workspace ou définir un default au niveau du compte pour tous les nouveaux workspaces afin d'activer le monitoring de sécurité amélioré, consultez Configurer les paramètres de sécurité et de conformité améliorés.
Les mises à jour peuvent prendre jusqu'à six heures pour se propager à tous les environnements et aux systèmes en aval comme la facturation. Les charges de travail en cours d'exécution continuent avec les paramètres qui étaient actifs au moment du start du cluster ou d'une autre ressource de compute, et les nouveaux paramètres commenceront à s'appliquer la prochaine fois que ces charges de travail seront start.