groupe de commandesquality-monitors

remarque

L'utilisation de Databricks CLI est soumise à la licence Databricks et à la politique de confidentialité Databricks, y compris toutes les dispositions relatives aux données d'utilisation.

attention

Ces commandes sont obsolètes. Utilisez plutôt les commandes data-quality. Voir le data-quality groupe de commandes.

Le groupe de commandes quality-monitors au sein de la CLI Databricks contient des commandes permettant de créer, modifier et supprimer des moniteurs de qualité. Un moniteur calcule et surveille les métriques de qualité des données ou des modèles pour une table au fil du temps. Il génère des tables de métriques et un tableau de bord que vous pouvez utiliser pour surveiller la santé des tables et définir des alertes. See profilage des données.

databricks quality-monitors create

Créer un nouvel outil de surveillance pour la table spécifiée.

L'appelant doit :

1. être propriétaire du catalogue parent de la table, avoir USE_SCHEMA sur le schéma parent de la table et avoir un accès SELECT sur la table
2. avoir USE_CATALOG sur le catalogue parent de la table, être propriétaire du schéma parent de la table et avoir un accès SELECT sur la table.
3. disposent des autorisations suivantes :
   • USE_CATALOG dans le catalogue parent de la table
   • USE_SCHEMA sur le schéma parent de la table
   • être propriétaire de la table.

Les ressources du workspace, telles que le tableau de bord, seront créées dans le workspace où cet appel a été effectué.

databricks quality-monitors create TABLE_NAME ASSETS_DIR OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

Nom complet de la table.

ASSETS_DIR

Le répertoire pour stocker les assets de monitoring (par exemple, tableau de bord, tables de métriques).

OUTPUT_SCHEMA_NAME

Schéma où les tables métriques de sortie sont créées.

Options

--baseline-table-name string

Nom de la table de référence à partir de laquelle les métriques de drift sont calculées.

--json JSON

La chaîne JSON en ligne ou le @chemin vers le fichier JSON avec le corps de la requête.

--skip-builtin-dashboard

S'il faut ignorer la création d'un tableau de bord par default récapitulant les métriques de qualité des données.

--warehouse-id string

Argument facultatif pour spécifier le warehouse pour la création de tableau de bord.

Indicateurs globaux

Exemples

L’exemple suivant crée un moniteur de qualité pour une table :

Bash

databricks quality-monitors create main.my_schema.my_table /monitoring/assets main.monitoring_schema

databricks quality-monitors delete

Supprimer un moniteur pour la table spécifiée.

L'appelant doit :

1. être propriétaire du catalogue parent de la table
2. disposer de USE_CATALOG sur le catalogue parent de la table et être propriétaire du schéma parent de la table
3. disposent des autorisations suivantes :
   • USE_CATALOG dans le catalogue parent de la table
   • USE_SCHEMA sur le schéma parent de la table
   • être propriétaire de la table.

De plus, l'appel doit être effectué à partir du Workspace où le moniteur a été créé.

Notez que les tables de métriques et le tableau de bord ne seront pas supprimés dans le cadre de cet appel ; ces assets doivent être nettoyés manuellement (si vous le souhaitez).

databricks quality-monitors delete TABLE_NAME [flags]

Arguments

TABLE_NAME

Nom complet de la table.

Options

Indicateurs globaux

Exemples

L'exemple suivant supprime un moniteur de qualité :

Bash

databricks quality-monitors delete main.my_schema.my_table

databricks quality-monitors get

Obtenez un outil de surveillance pour la table spécifiée.

L'appelant doit :

1. être propriétaire du catalogue parent de la table
2. disposez de USE_CATALOG sur le catalogue parent de la table et soyez le propriétaire du schéma parent de la table.
3. disposent des autorisations suivantes :
   • USE_CATALOG dans le catalogue parent de la table
   • USE_SCHEMA sur le schéma parent de la table
   • SELECT privilège sur la table.

Les informations renvoyées incluent les valeurs de configuration, ainsi que des informations sur les actifs créés par le moniteur. Certaines informations (par exemple, un tableau de bord) peuvent être filtrées si l'appelant se trouve dans un workspace différent de celui où le moniteur a été créé.

databricks quality-monitors get TABLE_NAME [flags]

Arguments

TABLE_NAME

Nom complet de la table.

Options

Indicateurs globaux

Exemples

L'exemple suivant fournit des informations sur un moniteur de qualité :

Bash

databricks quality-monitors get main.my_schema.my_table

Databricks quality-monitors get-refresh

Obtenez des informations sur un monitor refresh spécifique à l’aide de l’ID refresh donné.

L'appelant doit :

1. être propriétaire du catalogue parent de la table
2. disposer de USE_CATALOG sur le catalogue parent de la table et être propriétaire du schéma parent de la table
3. disposent des autorisations suivantes :
   • USE_CATALOG dans le catalogue parent de la table
   • USE_SCHEMA sur le schéma parent de la table
   • SELECT privilège sur la table.

De plus, l'appel doit être effectué à partir du Workspace où le moniteur a été créé.

databricks quality-monitors get-refresh TABLE_NAME REFRESH_ID [flags]

Arguments

TABLE_NAME

Nom complet de la table.

REFRESH_ID

ID du refresh.

Options

Indicateurs globaux

Exemples

L'exemple suivant obtient des informations concernant un refresh spécifique :

Bash

databricks quality-monitors get-refresh main.my_schema.my_table 12345

databricks quality-monitors liste des actualisations

Listez l'historique des refresh les plus récentes (jusqu'à 25) pour cette table.

L'appelant doit :

1. être propriétaire du catalogue parent de la table
2. disposer de USE_CATALOG sur le catalogue parent de la table et être propriétaire du schéma parent de la table
3. disposent des autorisations suivantes :
   • USE_CATALOG dans le catalogue parent de la table
   • USE_SCHEMA sur le schéma parent de la table
   • SELECT privilège sur la table.

De plus, l'appel doit être effectué à partir du Workspace où le moniteur a été créé.

databricks quality-monitors list-refreshes TABLE_NAME [flags]

Arguments

TABLE_NAME

Nom complet de la table.

Options

Indicateurs globaux

Exemples

L’exemple suivant répertorie les refresh d’un moniteur de qualité :

Bash

databricks quality-monitors list-refreshes main.my_schema.my_table

databricks moniteurs-de-qualité exécuter-refresh

Mettre un refresh de métriques en file d'attente sur le moniteur pour la table spécifiée. Le refresh s'exécutera en arrière-plan.

L'appelant doit :

1. être propriétaire du catalogue parent de la table
2. disposer de USE_CATALOG sur le catalogue parent de la table et être propriétaire du schéma parent de la table
3. disposent des autorisations suivantes :
   • USE_CATALOG dans le catalogue parent de la table
   • USE_SCHEMA sur le schéma parent de la table
   • être propriétaire de la table

De plus, l'appel doit être effectué à partir du Workspace où le moniteur a été créé.

databricks quality-monitors run-refresh TABLE_NAME [flags]

Arguments

TABLE_NAME

Nom complet de la table.

Options

Indicateurs globaux

Exemples

L'exemple suivant met en file d'attente un refresh pour un moniteur de qualité :

Bash

databricks quality-monitors run-refresh main.my_schema.my_table

databricks quality-monitors update

Mettre à jour un moniteur pour la table spécifiée.

L'appelant doit :

1. être propriétaire du catalogue parent de la table
2. disposer de USE_CATALOG sur le catalogue parent de la table et être propriétaire du schéma parent de la table
3. disposent des autorisations suivantes :
   • USE_CATALOG dans le catalogue parent de la table
   • USE_SCHEMA sur le schéma parent de la table
   • être propriétaire de la table.

De plus, l’appel doit être effectué depuis le workspace où le moniteur a été créé, et l’appelant doit être le créateur original du moniteur.

Certains champs de configuration, tels que les identificateurs d'asset de sortie, ne peuvent pas être mis à jour.

databricks quality-monitors update TABLE_NAME OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

Nom complet de la table.

OUTPUT_SCHEMA_NAME

Schéma où les tables métriques de sortie sont créées.

Options

--baseline-table-name string

Nom de la table de référence à partir de laquelle les métriques de drift sont calculées.

--dashboard-id string

ID du tableau de bord qui visualise les métriques calculées.

--json JSON

La chaîne JSON en ligne ou le @chemin vers le fichier JSON avec le corps de la requête.

Indicateurs globaux

Exemples

L'exemple suivant met à jour un moniteur de qualité :

Bash

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema

L'exemple suivant met à jour un moniteur de qualité avec une nouvelle table de référence :

Bash

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema --baseline-table-name main.my_schema.new_baseline

Drapeaux globaux

--debug

Activer ou non la journalisation de débogage.

-h OU --help

Afficher l'aide de Databricks CLI ou du groupe de commandes associé ou de la commande associée.

--log-file chaîne

Une chaîne représentant le fichier dans lequel écrire les logs de sortie. Si cet indicateur n'est pas spécifié, la default est d'écrire les logs de sortie dans stderr.

--log-format Format

Le type de format de log, text ou json. La valeur par default est text.

--log-level chaîne

Une chaîne représentant le niveau de format du log. S'il n'est pas spécifié, le niveau de format du log est désactivé.

-o, --output Type

Le type de sortie de commande, text ou json. La valeur par default est text.

-p, --profile chaîne

Nom du profil dans le fichier ~/.databrickscfg à utiliser pour exécuter la commande. Si cet indicateur n'est pas spécifié, alors s'il existe, le profil nommé DEFAULT est utilisé.

--progress-format Format

Le format pour afficher les logs de progression : default, append, inplace ou json

-t, --target chaîne

Le cas échéant, la cible de bundle à utiliser