Créer un moniteur à l'aide de l'interface utilisateur de Databricks

Cet article montre comment créer un moniteur de données à l'aide de l'interface utilisateur de Databricks. Pour créer et gérer des moniteurs par programmation, consultez Créer un moniteur à l'aide de l'API Databricks.

Pour accéder à l'interface utilisateur de Databricks, procédez comme suit :

1. Dans la barre latérale gauche du workspace, cliquez sur pour ouvrir Catalog Explorer.
2. Accédez à la table que vous souhaitez surveiller.
3. Cliquez sur l'onglet tab .
4. Cliquez sur le bouton Démarrer .
5. Dans Créer un moniteur , choisissez les options que vous souhaitez pour configurer le moniteur.

Profilage

Dans le menu **Type de profil**, sélectionnez le type de moniteur que vous souhaitez créer. Les types de profils sont affichés dans le tableau.

Type de profil	Description
Profil de série temporelle	Une table contenant des valeurs mesurées au fil du temps. Cette table inclut une colonne Timestamp.
Profil d'inférence	Un tableau contenant les valeurs prédites produites par un modèle de classification ou de régression de Machine Learning. Ce tableau comprend un Timestamp, un identifiant de modèle, des entrées de modèle (caractéristiques), une colonne contenant les prédictions du modèle et des colonnes facultatives contenant des identifiants d'observation uniques et des étiquettes de vérité terrain. Il peut également contenir des métadonnées, telles que des informations démographiques, qui ne sont pas utilisées comme entrées pour le modèle, mais qui pourraient être utiles pour les enquêtes sur l'équité et les biais ou d'autres activités de monitoring.
Profil d'instantané	Toute table Delta gérée, table externe ou vue.

Type de profil	Description
Profil de série temporelle	Une table contenant des valeurs mesurées au fil du temps. Cette table inclut une colonne Timestamp.
Profil d'inférence	Un tableau contenant les valeurs prédites produites par un modèle de classification ou de régression de Machine Learning. Ce tableau comprend un Timestamp, un identifiant de modèle, des entrées de modèle (caractéristiques), une colonne contenant les prédictions du modèle et des colonnes facultatives contenant des identifiants d'observation uniques et des étiquettes de vérité terrain. Il peut également contenir des métadonnées, telles que des informations démographiques, qui ne sont pas utilisées comme entrées pour le modèle, mais qui pourraient être utiles pour les enquêtes sur l'équité et les biais ou d'autres activités de monitoring.
Profil d'instantané	Toute table Delta gérée, table externe ou vue.

Si vous sélectionnez TimeSeries ou Inference, des paramètres supplémentaires sont requis et sont décrits dans les sections suivantes.

remarque

• Lorsque vous créez un profil de série chronologique ou d’inférence pour la première fois, l’outil de surveillance analyse uniquement les données des 30 jours précédant sa création. Une fois l’outil de surveillance créé, toutes les nouvelles données sont traitées.

TimeSeries profil

Pour un profil TimeSeries, vous devez effectuer les sélections suivantes :

• Spécifiez la Granularité des métriques qui détermine comment partitionner les données dans les fenêtres temporelles.
• Spécifiez la colonne Timestamp , la colonne du tableau qui contient le timestamp. Le type de données de la colonne Timestamp doit être soit TIMESTAMP, soit un type pouvant être converti en Timestamp à l'aide de la to_timestamp fonction PySpark.

Inference profil

Pour un profil Inference, en plus des granularités et du timestamp, vous devez effectuer les sélections suivantes :

• Sélectionnez le type de problème : classification ou régression.
• Spécifiez la **colonne de prédiction**, la colonne contenant les valeurs prédites du modèle.
• Spécifiez facultativement la colonne **Label**, la colonne contenant la vérité terrain pour les prédictions du modèle.
• Spécifiez la **colonne d'ID de modèle**, la colonne contenant l'ID du modèle utilisé pour la prédiction.

Options avancées

Dans la section Options avancées , vous pouvez définir la planification, ajouter des métriques personnalisées et des expressions de découpage, et modifier la configuration default du moniteur.

Planifier

Pour configurer un moniteur afin qu'il s'exécute selon un calendrier, sélectionnez Refresh selon un calendrier et sélectionnez la fréquence et l'heure d'exécution du moniteur. Si vous ne souhaitez pas que le moniteur s'exécute automatiquement, sélectionnez Refresh manuellement . Si vous sélectionnez Refresh manuellement , vous pouvez ensuite actualiser les métriques à partir de l'onglet Qualité .

Notifications

Pour configurer les notifications par e-mail pour un moniteur, saisissez l'adresse e-mail à notifier et sélectionnez les notifications à activer. Jusqu'à 5 adresses e-mail sont prises en charge par type d'événement de notification.

Métriques

Dans la section Mesures , vous pouvez choisir de modifier les paramètres default suivants :

• **Nom du schéma des tables de métriques** : le schéma Unity Catalog où sont stockées les tables de métriques créées par le moniteur. Cet emplacement doit être au format {catalog}.{schema}. Par default, il est défini sur le même emplacement de schéma que la table surveillée. Vous pouvez indiquer un emplacement différent.

• Répertoire des assets : le chemin d'accès absolu à un répertoire existant pour stocker les assets de monitoring. Par default, les assets sont stockés dans le répertoire par défaut : « /Users/{user_name}/databricks_lakehouse_monitoring/{table_name} ». Si vous saisissez un emplacement différent dans ce champ, les assets sont créés sous « /{table_name} » dans le répertoire que vous spécifiez. Ce répertoire peut se trouver n'importe où dans le Workspace. Pour les moniteurs destinés à être partagés au sein d'une organisation, vous pouvez utiliser un chemin dans le répertoire « /Shared/ ».

  Ce champ ne peut pas être laissé vide.

Vous pouvez également spécifier les paramètres suivants :

• **Nom de la table de référence Unity Catalog** : Nom d'une table ou d'une vue qui contient des données de référence à des fins de comparaison.
• Expressions de découpage des métriques : Les expressions de découpage vous permettent de définir des sous-ensembles de la table à surveiller, en plus de la table dans son ensemble. Pour créer une expression de découpage, cliquez sur Ajouter une expression et saisissez la définition de l'expression. Par exemple, l'expression "col_2 > 10" génère deux découpages : un pour col_2 > 10 et un pour col_2 <= 10. À titre d'autre exemple, l'expression "col_1" générera un découpage pour chaque valeur unique dans col_1. Les données sont regroupées par chaque expression indépendamment, ce qui génère un découpage distinct pour chaque prédicat et ses compléments.
• Métriques personnalisées : les métriques personnalisées apparaissent dans les tables de métriques comme toute métrique intégrée. Pour configurer une métrique personnalisée, cliquez sur Ajouter une métrique personnalisée .
  • Saisissez un Nom pour la métrique personnalisée.
  • Sélectionnez la métrique personnalisée Type . Choisissez parmi : Aggregate, Derived ou Drift.
  • Dans la liste déroulante Colonnes de saisie , sélectionnez les colonnes auxquelles appliquer la métrique.
  • Dans le champ Type de sortie , sélectionnez le type de données Spark de la métrique.
  • Dans le champ Définition , saisissez le code SQL qui définit la métrique personnalisée.

Modifiez les paramètres du moniteur dans l'interface utilisateur

Une fois que vous avez créé un moniteur, vous pouvez modifier ses paramètres en cliquant sur le bouton Modifier la configuration du moniteur dans l’onglet tab .

refresh et affichez les résultats du moniteur dans l'interface utilisateur

Pour exécuter le moniteur manuellement, cliquez sur refresh métriques .

Les tables de métriques sont des tables Unity Catalog. Vous pouvez les interroger dans des notebooks ou dans l'explorateur de queries SQL, et les visualiser dans l'Explorateur de catalogues.

Contrôler l'accès aux sorties du moniteur

Les tables de métriques créées par un outil de surveillance sont la propriété de l'utilisateur qui a créé l'outil de surveillance. Vous pouvez utiliser les privilèges Unity Catalog pour contrôler l'accès aux tables de métriques.

Supprimer un moniteur à partir de l'interface utilisateur.

Pour supprimer un moniteur de l'interface utilisateur, cliquez sur le menu kebab à côté du bouton Refresh metrics et sélectionnez Supprimer le moniteur .