Logs de trafic réseau étendus
Aperçu
Cette fonctionnalité est en aperçu privé. Pour l’essayer, veuillez contacter votre interlocuteur Databricks.
Les logs de trafic réseau étendus enregistrent le trafic réseau sortant du compute serverless Databricks. Par default, la table système des événements d’accès réseau sortant enregistre uniquement les requêtes refusées par les contrôles de sortie serverless. Avec les logs de trafic réseau étendus, elle enregistre également les requêtes autorisées, ce qui vous permet de voir où vos charges de travail serverless se connectent et de résoudre les problèmes de connectivité.
Pour query les Logs, consultez Query extended network traffic Logs.
Cas d’utilisation
Utilisez les logs de trafic réseau étendus pour :
- Examinez l’activité réseau : découvrez les destinations auxquelles vos charges de travail serverless ont accédé, à quel moment et depuis quel workspace.
- Affiner les stratégies réseau : recherchez les destinations rarement utilisées, et déterminez s’il faut les supprimer de vos listes d’autorisation de sortie serverless.
- Résoudre les problèmes de connectivité : déterminez si les contrôles de sortie Serverless ont autorisé ou refusé une requête.
- Analyser les coûts réseau : identifiez les destinations interrégionales, Internet et privées auxquelles les charges de travail serverless accèdent.
- Optimisez la connectivité du stockage : repérez les destinations de stockage fréquemment utilisées qui pourraient bénéficier d’une connectivité privée ou du fait de se trouver dans la même région que vos charges de travail.
Comment ça marche
Événements d’accès réseau autorisés
Les logs de trafic réseau étendus ajoutent ALLOWED événements à la table system.access.outbound_network existante. Cette table consigne les événements d’accès sortant au réseau depuis les charges de travail serverless, notamment les SQL Warehouse, les Job, LakeFlow Pipelines, Databricks Apps et les Model Serving Endpoint. Les événements autorisés couvrent les requêtes vers le stockage cloud, les destinations Internet et les ressources accessibles via une connectivité privée. Pour consulter le schéma complet de la table, voir Référence de la table système des événements d’accès réseau.
La colonne access_type indique le résultat de chaque événement :
Valeur | Description |
|---|---|
| L’accès réseau sortant a été autorisé. Disponible uniquement avec les logs de trafic réseau étendus. |
| L’accès réseau sortant a été refusé par les contrôles de sortie serverless en mode appliqué. |
| L’accès réseau sortant aurait été refusé par les contrôles de sortie serverless, mais il a été autorisé parce que la stratégie était en mode d’exécution à blanc. |
Les valeurs access_type et destination_type enregistrées pour une requête dépendent de la destination et du mode de votre stratégie de sortie serverless :
Requête réseau | Sortie sans restriction | Mode simulation | Mode appliqué |
|---|---|---|---|
Accès au stockage autorisé |
| Non journalisé |
|
Accès au stockage qui enfreint la stratégie | Non applicable |
|
|
Accès autorisé aux ressources Virtual Private Cloud (VPC) |
|
|
|
Accès aux ressources Virtual Private Cloud (VPC) qui enfreint la politique | Non applicable |
|
|
Accès Internet autorisé |
|
|
|
Accès Internet qui enfreint la politique | Non applicable |
|
|
Pour les événements DNS autorisés, destination contient le nom de domaine ou le Hostname de stockage. Pour les événements STORAGE autorisés, destination contient le Hostname et le chemin de stockage. Les adresses IP de destination résolues se trouvent dans dns_event.rdata ou storage_event.rdata. Ces champs sont vides pour les événements refusés.
Limitations
Les logs de trafic réseau étendus présentent les limitations suivantes :
- Les événements autorisés ne sont pas consignés pour l’accès à des modèles externes depuis des Endpoint de Model Serving.
- Les événements autorisés ne sont pas enregistrés pour les accès au stockage depuis les Workspace dont les contrôles de sortie Serverless sont en mode simulation.
- Les événements autorisés ne sont pas consignés pour l’accès au stockage interne au workspace, comme les artefacts MLflow et dbt.
- Les événements autorisés ne sont pas consignés pour l’accès au stockage du fournisseur OpenSharing.
- Le trafic autorisé provenant de charges de travail exécutées pendant moins d’environ une minute est moins susceptible d’être consigné, en particulier dans le cas des charges de travail planifiées et non interactives, ainsi que des Workspace dont les politiques de sortie ne sont pas restrictives.
Ces limitations n’ont pas d’incidence sur l’application des contrôles de sortie Serverless ni sur la journalisation des requêtes refusées.
Questions fréquemment posées
Les questions suivantes portent sur les comportements courants que vous pourriez observer dans les logs étendus du trafic réseau.
Ai-je besoin des contrôles de sortie serverless pour utiliser les logs de trafic réseau étendus ?
Non. Les événements d’accès au réseau sortant autorisé sont également enregistrés pour les Workspace dotés de politiques d’accès sortant Serverless sans restriction.
Pourquoi des événements d’accès réseau apparaissent-ils après la fin d’une charge de travail ?
Databricks peut continuer à accéder au stockage après la fin d’une charge de travail, par exemple pour conserver les logs ou les métadonnées Delta. Ces requêtes peuvent générer des événements d’accès réseau lorsqu’aucune charge de travail utilisateur n’est en cours. Les événements cessent après l’arrêt de l’instance de compute serverless.
Pourquoi est-ce que je vois des Hostnames inconnus dans mes logs d’accès réseau ?
Certaines destinations consignées sont des ressources gérées par Databricks utilisées pour les opérations de la plateforme :
Motif de Hostname | Usage |
|---|---|
| Améliore les temps de Startup du Serverless compute. |
| Stockage par default de Databricks. |
| Accès aux datasets d’exemple default. |
Si vous voyez d’autres Hostname que vous ne reconnaissez pas, contactez l’équipe de votre compte Databricks.
Combien de temps faut-il pour que les logs de trafic réseau apparaissent ?
La plupart des événements d’accès au réseau sortant apparaissent dans les 15 minutes suivant la demande. La latence peut varier, et Databricks ne fournit pas d’accord de niveau de service (SLA) concernant la latence de ces logs.