groupe de commandesdata-quality

remarque

L'utilisation de Databricks CLI est soumise à la licence Databricks et à la politique de confidentialité Databricks, y compris toutes les dispositions relatives aux données d'utilisation.

Le groupe de commandes data-quality au sein de la CLI Databricks contient des commandes pour gérer la qualité des données des objets Unity Catalog. Voir Monitoring de la qualité des données.

databricks data-quality cancel-refresh

Annuler le refresh d'un moniteur de qualité des données. Actuellement pris en charge uniquement pour le type d'objet table. L'appel doit être effectué dans le même workspace que celui où le moniteur a été créé.

L'appelant doit avoir l'un des ensembles d'autorisations suivants :

1. GÉRER et USE_CATALOG sur le catalogue parent de la table.
2. USE_CATALOG sur le catalogue parent de la table, et MANAGE et USE_SCHEMA sur le schéma parent de la table.
3. USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table, et MANAGE sur la table.

databricks data-quality cancel-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Arguments

OBJECT_TYPE

Le type de l'objet surveillé. Peut être l'un des suivants : schema ou table.

OBJECT_ID

L'UUID de l'objet de requête. C'est schema_id pour le schéma, et table_id pour la table.

Recherchez le schema_id à partir de l'une des options suivantes : (1) L'ID du schéma de la ressource Schémas. (2) Dans l'Explorateur de catalogues → sélectionnez le schéma → accédez à l'onglet Détails → le champ ID du schéma.

Trouvez le table_id à partir de: (1) l'table_id de la Ressource Tables. (2) Dans l'Explorateur de catalogues → sélectionnez la table → accédez à la tab Détails → le champ ID de la table.

REFRESH_ID

ID unique de l’opération de refresh.

Options

Indicateurs globaux

Exemples

L'exemple suivant annule une opération de refresh :

Bash

databricks data-quality cancel-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

databricks create-monitor de qualité des données

Créez un moniteur de qualité des données sur un objet Unity Catalog. L'appelant doit fournir anomaly_detection_config pour un moniteur de schéma ou data_profiling_config pour un moniteur de table.

Pour le type d'objet table, l'appelant doit disposer de l'un des ensembles d'autorisations suivants :

1. MANAGE et USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table et SELECT sur la table.
2. USE_CATALOG sur le catalogue parent de la table, MANAGE et USE_SCHEMA sur le schéma parent de la table, et SELECT sur la table.
3. USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table, et MANAGE et SELECT sur la table.

Les ressources du workspace, telles que le tableau de bord, seront créées dans le workspace où cet appel a été effectué.

Pour le type d'objet schéma, l'appelant doit disposer de l'un des ensembles d'autorisations suivants :

1. MANAGE et USE_CATALOG sur le catalogue parent du schéma.
2. USE_CATALOG sur le catalogue parent du schéma, et MANAGE et USE_SCHEMA sur le schéma.

databricks data-quality create-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

Le type de l'objet surveillé. Peut être l'un des suivants : schema ou table.

OBJECT_ID

L'UUID de l'objet de requête. C'est schema_id pour le schéma, et table_id pour la table.

Recherchez le schema_id à partir de l'une des options suivantes : (1) L'ID du schéma de la ressource Schémas. (2) Dans l'Explorateur de catalogues → sélectionnez le schéma → accédez à l'onglet Détails → le champ ID du schéma.

Trouvez le table_id à partir de: (1) l'table_id de la Ressource Tables. (2) Dans l'Explorateur de catalogues → sélectionnez la table → accédez à la tab Détails → le champ ID de la table.

Options

--json JSON

La chaîne JSON en ligne ou le @path vers le fichier JSON avec le corps de la requête

Indicateurs globaux

Exemples

L'exemple suivant crée un moniteur de qualité des données pour une table :

Bash

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"enabled": true}}'

L'exemple suivant crée un moniteur à l'aide d'un fichier JSON :

Bash

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json @monitor-config.json

databricks data-quality create-refresh

Créer un refresh. L'appel doit être effectué dans le même Workspace que celui où le moniteur a été créé.

L'appelant doit avoir l'un des ensembles d'autorisations suivants :

1. GÉRER et USE_CATALOG sur le catalogue parent de la table.
2. USE_CATALOG sur le catalogue parent de la table, et MANAGE et USE_SCHEMA sur le schéma parent de la table.
3. USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table, et MANAGE sur la table.

databricks data-quality create-refresh OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

Le type de l'objet surveillé. Peut être l'un des suivants : schema ou table.

OBJECT_ID

L'UUID de l'objet de requête. C'est schema_id pour le schéma, et table_id pour la table.

Recherchez le schema_id à partir de l'une des options suivantes : (1) L'ID du schéma de la ressource Schémas. (2) Dans l'Explorateur de catalogues → sélectionnez le schéma → accédez à l'onglet Détails → le champ ID du schéma.

Trouvez le table_id à partir de: (1) l'table_id de la Ressource Tables. (2) Dans l'Explorateur de catalogues → sélectionnez la table → accédez à la tab Détails → le champ ID de la table.

Options

--json JSON

La chaîne JSON en ligne ou le @path vers le fichier JSON avec le corps de la requête

Indicateurs globaux

Exemples

L’exemple suivant crée un refresh pour un moniteur de table :

Bash

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

L'exemple suivant crée un refresh à l'aide de JSON :

Bash

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{}'

databricks data-quality delete-monitor

Supprimer un moniteur de qualité des données sur un objet Unity Catalog.

Pour le type d'objet table, l'appelant doit disposer de l'un des ensembles d'autorisations suivants :

1. GÉRER et USE_CATALOG sur le catalogue parent de la table.
2. USE_CATALOG sur le catalogue parent de la table, et MANAGE et USE_SCHEMA sur le schéma parent de la table.
3. USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table, et MANAGE sur la table.

important

Les tables de métriques et le tableau de bord ne seront pas supprimés dans le cadre de cet appel ; ces actifs doivent être nettoyés manuellement (si vous le souhaitez).

Pour le type d'objet schéma, l'appelant doit disposer de l'un des ensembles d'autorisations suivants :

1. MANAGE et USE_CATALOG sur le catalogue parent du schéma.
2. USE_CATALOG sur le catalogue parent du schéma, et MANAGE et USE_SCHEMA sur le schéma.

databricks data-quality delete-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

Le type de l'objet surveillé. Peut être l'un des suivants : schema ou table.

OBJECT_ID

L'UUID de l'objet de requête. C'est schema_id pour le schéma, et table_id pour la table.

Recherchez le schema_id à partir de l'une des options suivantes : (1) L'ID du schéma de la ressource Schémas. (2) Dans l'Explorateur de catalogues → sélectionnez le schéma → accédez à l'onglet Détails → le champ ID du schéma.

Trouvez le table_id à partir de: (1) l'table_id de la Ressource Tables. (2) Dans l'Explorateur de catalogues → sélectionnez la table → accédez à la tab Détails → le champ ID de la table.

Options

Indicateurs globaux

Exemples

L'exemple suivant supprime un contrôle qualité des données :

Bash

databricks data-quality delete-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

databricks data-quality get-monitor

Lire un moniteur de qualité des données sur un objet Unity Catalog.

Pour le type d'objet table, l'appelant doit disposer de l'un des ensembles d'autorisations suivants :

1. GÉRER et USE_CATALOG sur le catalogue parent de la table.
2. USE_CATALOG sur le catalogue parent de la table, et MANAGE et USE_SCHEMA sur le schéma parent de la table.
3. USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table et SELECT sur la table.

Pour le type d'objet schéma, l'appelant doit disposer de l'un des ensembles d'autorisations suivants :

1. MANAGE et USE_CATALOG sur le catalogue parent du schéma.
2. **USE_CATALOG** sur le catalogue parent du schéma, et **USE_SCHEMA** sur le schéma.

Les informations renvoyées incluent les valeurs de configuration sur l'entité et l'entité parente ainsi que les informations sur les actifs créés par le moniteur. Certaines informations (par exemple, dashboard) peut être filtré si l'appelant se trouve dans un workspace différent de celui où le moniteur a été créé.

databricks data-quality get-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

Le type de l'objet surveillé. Peut être l'un des suivants : schema ou table.

OBJECT_ID

L'UUID de l'objet de requête. C'est schema_id pour le schéma, et table_id pour la table.

Recherchez le schema_id à partir de l'une des options suivantes : (1) L'ID du schéma de la ressource Schémas. (2) Dans l'Explorateur de catalogues → sélectionnez le schéma → accédez à l'onglet Détails → le champ ID du schéma.

Trouvez le table_id à partir de: (1) l'table_id de la Ressource Tables. (2) Dans l'Explorateur de catalogues → sélectionnez la table → accédez à la tab Détails → le champ ID de la table.

Options

Indicateurs globaux

Exemples

L'exemple suivant obtient des informations sur un moniteur de qualité des données :

Bash

databricks data-quality get-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

databricks data-quality get-refresh

Obtenir les informations de refresh du moniteur de qualité des données. L'appel doit être effectué dans le même Workspace que celui où le moniteur a été créé.

Pour le type d'objet table, l'appelant doit disposer de l'un des ensembles d'autorisations suivants :

1. GÉRER et USE_CATALOG sur le catalogue parent de la table.
2. USE_CATALOG sur le catalogue parent de la table, et MANAGE et USE_SCHEMA sur le schéma parent de la table.
3. USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table et SELECT sur la table.

Pour le type d'objet schéma, l'appelant doit disposer de l'un des ensembles d'autorisations suivants :

1. MANAGE et USE_CATALOG sur le catalogue parent du schéma.
2. **USE_CATALOG** sur le catalogue parent du schéma, et **USE_SCHEMA** sur le schéma.

databricks data-quality get-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Arguments

OBJECT_TYPE

Le type de l'objet surveillé. Peut être l'un des suivants : schema ou table.

OBJECT_ID

L'UUID de l'objet de requête. C'est schema_id pour le schéma, et table_id pour la table.

Recherchez le schema_id à partir de l'une des options suivantes : (1) L'ID du schéma de la ressource Schémas. (2) Dans l'Explorateur de catalogues → sélectionnez le schéma → accédez à l'onglet Détails → le champ ID du schéma.

Trouvez le table_id à partir de: (1) l'table_id de la Ressource Tables. (2) Dans l'Explorateur de catalogues → sélectionnez la table → accédez à la tab Détails → le champ ID de la table.

REFRESH_ID

ID unique de l’opération de refresh.

Options

Indicateurs globaux

Exemples

L'exemple suivant obtient des informations sur un refresh :

Bash

databricks data-quality get-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

Databricks data-quality list-refresh

Lister les refresh du moniteur de qualité des données. L'appel doit être effectué dans le même Workspace que celui où le moniteur a été créé.

Pour le type d'objet table, l'appelant doit disposer de l'un des ensembles d'autorisations suivants :

1. GÉRER et USE_CATALOG sur le catalogue parent de la table.
2. USE_CATALOG sur le catalogue parent de la table, et MANAGE et USE_SCHEMA sur le schéma parent de la table.
3. USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table et SELECT sur la table.

Pour le type d'objet schéma, l'appelant doit disposer de l'un des ensembles d'autorisations suivants :

1. MANAGE et USE_CATALOG sur le catalogue parent du schéma.
2. **USE_CATALOG** sur le catalogue parent du schéma, et **USE_SCHEMA** sur le schéma.

databricks data-quality list-refresh OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

Le type de l'objet surveillé. Peut être l'un des suivants : schema ou table.

OBJECT_ID

L'UUID de l'objet de requête. C'est schema_id pour le schéma, et table_id pour la table.

Recherchez le schema_id à partir de l'une des options suivantes : (1) L'ID du schéma de la ressource Schémas. (2) Dans l'Explorateur de catalogues → sélectionnez le schéma → accédez à l'onglet Détails → le champ ID du schéma.

Trouvez le table_id à partir de: (1) l'table_id de la Ressource Tables. (2) Dans l'Explorateur de catalogues → sélectionnez la table → accédez à la tab Détails → le champ ID de la table.

Options

--page-size int

Nombre maximal de refresh à retourner par page.

--page-token string

Jeton pour récupérer la page suivante de résultats.

Indicateurs globaux

Exemples

L'exemple suivant liste toutes les refresh pour un moniteur :

Bash

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

L'exemple suivant liste les refreshes avec pagination :

Bash

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --page-size 10

Mettre à jour le moniteur de qualité des données Databricks

Mettez à jour un moniteur de qualité des données sur l'objet Unity Catalog.

Pour le type d'objet table, l'appelant doit disposer de l'un des ensembles d'autorisations suivants :

1. GÉRER et USE_CATALOG sur le catalogue parent de la table.
2. USE_CATALOG sur le catalogue parent de la table, et MANAGE et USE_SCHEMA sur le schéma parent de la table.
3. USE_CATALOG sur le catalogue parent de la table, USE_SCHEMA sur le schéma parent de la table, et MANAGE sur la table.

Pour le type d'objet schéma, l'appelant doit disposer de l'un des ensembles d'autorisations suivants :

1. MANAGE et USE_CATALOG sur le catalogue parent du schéma.
2. USE_CATALOG sur le catalogue parent du schéma, et MANAGE et USE_SCHEMA sur le schéma.

databricks data-quality update-monitor OBJECT_TYPE OBJECT_ID UPDATE_MASK OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

Le type de l'objet surveillé. Peut être l'un des suivants : schema ou table.

OBJECT_ID

L'UUID de l'objet de requête. C'est schema_id pour le schéma, et table_id pour la table.

UPDATE_MASK

Le masque de champ pour spécifier les champs à mettre à jour sous forme de liste séparée par des virgules. Valeur d'exemple : data_profiling_config.custom_metrics,data_profiling_config.schedule.quartz_cron_expression.

Options

--json JSON

La chaîne JSON en ligne ou le @path vers le fichier JSON avec le corps de la requête

Indicateurs globaux

Exemples

L'exemple suivant met à jour la configuration d'un moniteur :

Bash

databricks data-quality update-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 "data_profiling_config.schedule.quartz_cron_expression" table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"schedule": {"quartz_cron_expression": "0 0 12 * * ?"'

Indicateurs globaux

Drapeaux globaux

--debug

Activer ou non la journalisation de débogage.

-h OU --help

Afficher l'aide de Databricks CLI ou du groupe de commandes associé ou de la commande associée.

--log-file chaîne

Une chaîne représentant le fichier dans lequel écrire les logs de sortie. Si cet indicateur n'est pas spécifié, la default est d'écrire les logs de sortie dans stderr.

--log-format Format

Le type de format de log, text ou json. La valeur par default est text.

--log-level chaîne

Une chaîne représentant le niveau de format du log. S'il n'est pas spécifié, le niveau de format du log est désactivé.

-o, --output Type

Le type de sortie de commande, text ou json. La valeur par default est text.

-p, --profile chaîne

Nom du profil dans le fichier ~/.databrickscfg à utiliser pour exécuter la commande. Si cet indicateur n'est pas spécifié, alors s'il existe, le profil nommé DEFAULT est utilisé.

--progress-format Format

Le format pour afficher les logs de progression : default, append, inplace ou json

-t, --target chaîne

Le cas échéant, la cible de bundle à utiliser