Aller au contenu principal

Automatisez l'attribution de balises gouvernées

info

Bêta

Cette fonctionnalité est en bêta.

Les automatisations de tags affectent des tags régis aux tables, colonnes et volumes du Unity Catalog à l'échelle de Monter en charge. Cette page explique comment les créer et les gérer. Pour obtenir un aperçu des tags régis, consultez la section Tags régis.

Une automatisation encode vos règles métier selon les conditions que vous définissez, puis affecte ou supprime des tags gouvernés sur les assets correspondants. Une fois qu'une automatisation est activée, ses exécutions mettent à jour les tags à mesure que vos données et métadonnées changent.

Vous pouvez créer une automatisation manuellement dans l’explorateur de catalogue ou utiliser Genie pour concevoir une automatisation en décrivant votre règle en langage naturel :

L'étape Définition de l'assistant de création d'automatisation, avec une invite remplie décrivant une règle qui marque les tables comme restreintes lorsque leurs colonnes portent des tags de classification sensibles, selon une planification quotidienne.

Les administrateurs automatisent l’attribution de tags pour une série de workflows de gouvernance, notamment :

  • Certification des données de confiance qui répondent à vos critères de préparation.
  • Suppression des données obsolètes qui ne sont plus maintenues ou interrogées.
  • Agrégation de la sensibilité des colonnes vers un niveau de sensibilité au niveau de la table, comme dans l'exemple ci-dessus.
  • Marquage des assets auxquels il manque les tags requis , puis notification de leurs propriétaires.
  • Nettoyage des tags obsolètes qui ne s’appliquent plus.

Comme les automatisations utilisent des tags régis, chaque tag qu'elles attribuent est conforme aux mêmes valeurs autorisées et aux mêmes permissions que celles qui régissent le tag manuel.

Pour détecter et étiqueter automatiquement les données sensibles dans les colonnes, utilisez plutôt Data Classification. Pour comparer toutes les fonctionnalités d’étiquetage automatique, consultez Étiquetage manuel vs automatisé.

Prérequis​

Avant de créer une automatisation, assurez-vous de disposer des éléments suivants :

  • USE CATALOG, USE SCHEMA et APPLY TAG sur le catalogue dans le périmètre de l'automatisation. Ces éléments sont vérifiés au niveau du catalogue ; par conséquent, restreindre une automatisation à des schémas spécifiques ne réduit pas les privilèges requis.
  • MANAGE sur le catalogue dans le périmètre de l’automatisation.
  • L’autorisation ASSIGN sur chaque tag gouverné que l’automatisation attribue ou supprime.
  • Les tags gouvernés que vous souhaitez attribuer doivent déjà exister avec des valeurs autorisées définies. Pour créer des tags gouvernés, consultez Créer et gérer des tags gouvernés. Pour plus d'informations sur les autorisations des tags gouvernés, consultez Gérer les autorisations sur les tags gouvernés.

L’onglet Automations répertorie uniquement les automatisations pour les tags pour lesquels vous disposez du privilège ASSIGN. Les administrateurs de compte disposent default de ASSIGN sur tous les tags et peuvent voir toutes les automatisations. Voir Gérer les permissions sur les tags gouvernés.

Activer les automatisations de tags​

Les automatisations de tags sont activées par default dans la plupart des workspaces. Si vous ne voyez pas le tab Automations sur la page Governed Tags , un administrateur de workspace peut activer la prévisualisation :

  1. En tant qu’administrateur du workspace, cliquez sur votre nom d’utilisateur dans la barre supérieure du workspace.
  2. Dans le menu, sélectionnez Previews .
  3. Recherchez l’aperçu Tag automations et utilisez le bouton bascule Placez la commande de bascule sur la position On. pour l’activer.

Pour plus d’informations sur la gestion des aperçus, consultez Manage workspace-level previews.

remarque

Les fonctionnalités en aperçu ne sont pas couvertes par les certifications de conformité. Dans les Workspace dotés du profil de sécurité de la conformité activé, l’aperçu Tag automations peut ne pas apparaître sur la page Previews . Pour connaître les aperçus que vous pouvez activer dans ces Workspace, consultez le tableau Prise en charge régionale des fonctionnalités sur la page de la norme de conformité applicable, répertoriée dans Profil de sécurité de la conformité.

Créer ou modifier une automatisation​

Databricks recommande de décrire l'automatisation souhaitée à Genie en langage naturel et de le laisser créer la règle pour vous. Genie définit la portée, les conditions et l'action, et vous pouvez tout examiner et ajuster avant d'enregistrer.

  1. Dans l’Explorateur de catalogues, ouvrez la page Governed Tags et cliquez sur l’onglet Automations tab .

    La tab Automatisations de la page Tags gouvernés, listant les automatisations avec leur dernière exécution, les assets ciblés, le créateur, le trigger, la description et le statut.

  2. Cliquez sur Créer une automatisation .

  3. (Facultatif) Choisissez un template.

  4. Dans le champ d’invite, décrivez l’automatisation souhaitée ou partez d’une suggestion de Genie.

  5. Vérifiez ce que Genie a généré et ajustez-en n’importe quelle partie.

Vous pouvez également remplir le formulaire vous-même :

  1. Dans la section Portée , sélectionnez un catalogue, réduisez-le éventuellement à des schémas spécifiques et choisissez si l'automatisation cible des tables, des colonnes ou des volumes.

    Si vous ne sélectionnez pas de schémas spécifiques, l'automatisation couvre tous les schémas du catalogue, y compris les schémas que vous créez plus tard, mais pas information_schema. Si vous sélectionnez des schémas individuels, l'automatisation couvre uniquement ces schémas.

  2. Dans la section Condition , ajoutez les conditions auxquelles un asset doit correspondre, en utilisant Tout faire correspondre ou Faire correspondre n’importe lequel . Voir Référence des conditions.

  3. Dans la section Action , sélectionnez Ajouter un tag ou Supprimer un tag , choisissez la clé et la valeur du tag gouverné, puis sélectionnez Remplacer la valeur existante pour remplacer une valeur qu’un asset possède déjà. Voir Notifier les utilisateurs.

  4. Passez à l'étape Planification et détails , puis sélectionnez Manuel pour exécuter l'automatisation à la demande ou Calendrier récurrent pour l'exécuter automatiquement.

  5. Dans la section Détails , saisissez un nom et une description, puis cliquez sur Simulation .

L'enregistrement d'une nouvelle automatisation la crée et start une simulation, qui enregistre les assets que l'automatisation ferait correspondre sans attribuer de tags. Examinez les assets correspondants et, s'ils ne sont pas conformes à vos attentes, ajustez les conditions et cliquez à nouveau sur Simulation . Lorsque vous êtes satisfait, cliquez sur Activer l'automatisation .

Pour modifier une automatisation existante, ouvrez-la depuis l'onglet Automations et cliquez sur Edit . Vous pouvez modifier ses conditions, sa planification, son nom et sa description, mais pas sa portée ou son action. Pour modifier l'un ou l'autre, créez une nouvelle automatisation.

Exemple : certifiez les tables qui répondent à vos critères de préparation​

Pour certifier les tables qui atteignent votre seuil de qualité, créez une automatisation qui attribue le tag de certification à chaque table correspondant à :

  1. Pour Condition , sélectionnez Tout faire correspondre et ajoutez des critères afin que seules les tables prêtes correspondent :

    • Le propriétaire est l'un des principaux responsables des données de production.
    • La table a une description.
    • La table a fait l'objet de plus de 100 queries de lecture au cours des 30 derniers jours.
  2. Pour Action , attribuez le tag system.certification_status avec la valeur certified.

Exemple : regrouper la sensibilité des colonnes vers un niveau de sensibilité au niveau de la table​

Pour maintenir la classification au niveau de la table synchronisée avec les colonnes sensibles détectées par la classification des données, créez une automatisation qui tague une table lorsque l'une de ses colonnes porte un tag de sensibilité :

  1. Pour Condition , sélectionnez Match any (Correspondance avec l'un) et ajoutez des critères de Column tag (Tag de colonne) afin qu'une table corresponde si l'une de ses colonnes porte class.us_driver_license, class.us_passport, class.us_ssn ou class.us_itin.
  2. Pour Action , attribuez votre tag de niveau de sensibilité au niveau de la table avec la valeur restricted, et sélectionnez Remplacer la valeur existante afin que les tables ayant un niveau inférieur soient mises à jour.

Créez une automatisation similaire pour chaque niveau que vous utilisez, en faisant correspondre les tags de classification qui le justifient.

Référence des conditions​

Le tableau suivant liste les conditions que vous pouvez ajouter dans la section Condition . La section propose uniquement les conditions qui s’appliquent au type d’asset dans la portée de l’automatisation :

  • Tables : Toutes les conditions suivantes.
  • Colonnes : Étiquette , Valeur de l'étiquette , Description , Nom , Étiquette amont et Valeur de l'étiquette amont . Étiquette , Valeur de l'étiquette , Description et Nom évaluent la colonne elle-même.
  • Volumes : Tag , Valeur du tag , Date de création , Dernière mise à jour , Propriétaire , Description et Nom .

État

Ce à quoi cela correspond

Exemples

Tag et Valeur du tag

Tags gouvernés existants sur l'asset. Sélectionnez parmi les tags gouvernés de votre compte.

cost_center égal à finance. Pour faire correspondre une famille de clés de tag, comme chaque tag class., utilisez l'opérateur starts with et saisissez class.

Étiquette de colonne et Valeur d'étiquette de colonne

Balises régies sur les colonnes de la table. Balise de colonne correspond à une clé de balise, et Valeur de balise de colonne correspond à une clé de balise avec une valeur spécifique. Une table correspond quand l'une de ses colonnes porte la balise. S'applique aux tables uniquement.

N’importe quelle colonne contient class.email_address ou class.us_ssn, ou n’importe quelle colonne a sensitivity égal à restricted

Balise amont et Valeur de la balise amont

Tags gouvernés sur les sources amont directes de l'asset dans le lignage: les tables à partir desquelles une table est dérivée, ou les colonnes à partir desquelles une colonne est dérivée. Les sources peuvent être dans n'importe quel catalogue ou schéma du métastore, mais les tags d'automatisation ne concernent que les assets de sa portée. S'applique aux tables et aux colonnes.

Une table en amont directe porte pii, ou une colonne en amont directe possède sensitivity égale à restricted

Nombre de requêtes lues et Nombre de requêtes d’écriture

Nombre de query sur l’asset au cours des 30 derniers jours. S’applique aux tables uniquement. Le nombre de lectures de la table inclut toutes les lectures de la table, et pas seulement les query des utilisateurs.

Le nombre de lectures de query est égal à 0 pour trouver les tables sans lecture enregistrée, ou supérieur à 100 pour trouver celles qui sont très utilisées

Dernière interrogation

Nombre de jours depuis la dernière lecture ou écriture de l’asset. Chaque lecture de la table est comptabilisée, pas seulement les query des utilisateurs. S’applique uniquement aux tables.

Dernière query il y a plus de 90 jours

Date de création et Dernière mise à jour

Le nombre de jours écoulés depuis la création ou la dernière modification de l'asset.

Dernière mise à jour il y a plus de 90 jours, ou au cours des 30 derniers jours

Propriétaire

Le propriétaire de l'actif, mis en correspondance avec les principaux que vous sélectionnez avec is one of ou is not one of . La correspondance s'effectue sur le propriétaire lui-même ; ainsi, la sélection d'un groupe ne correspond qu'aux actifs appartenant à ce groupe, et non aux actifs appartenant à ses membres.

Le propriétaire fait partie de vos administrateurs de plateforme de données

Description

Si l’asset possède une description, en utilisant exists ou does not exist .

La description n’existe pas , pour signaler les tables non documentées

Description de la colonne

Indique si les colonnes de niveau supérieur de la table ont des descriptions, en utilisant est présent sur toutes les colonnes , est manquant sur 1+ colonnes ou est manquant sur toutes les colonnes . Une description vide compte comme manquante, et une table sans colonnes ne correspond pas. S'applique uniquement aux tables.

La description de colonne est manquante sur une ou plusieurs colonnes , pour marquer les tables avec des colonnes non documentées

Nom

Indique si le nom de l’asset contient une chaîne, en utilisant contains ou does not contain .

Le nom contient _staging

Statut général

Indique si tous les contrôles de détection d’anomalies ont réussi lors du dernier scan de la table, en utilisant is healthy (sain) ou is unhealthy (non sain). S’applique uniquement aux tables.

Le statut global est sain , pour exiger des tables qui réussissent chaque vérification

Fraîcheur

indique si la table a été mise à jour aussi récemment que la détection d'anomalies l'attend, en utilisant is healthy ou is unhealthy . S'applique uniquement aux tables.

La fraîcheur n'est pas saine , pour marquer les tables obsolètes

Intégralité

Indique si la table a reçu le nombre de lignes attendu par la détection d'anomalies, en utilisant is healthy (est sain) ou is unhealthy (est malsain). S'applique uniquement aux tables.

L'exhaustivité est malsaine pour marquer les tables qui ont reçu moins de lignes que prévu

État

Ce à quoi cela correspond

Exemples

Tag et Valeur du tag

Tags gouvernés existants sur l'asset. Sélectionnez parmi les tags gouvernés de votre compte.

cost_center égal à finance. Pour faire correspondre une famille de clés de tag, comme chaque tag class., utilisez l'opérateur starts with et saisissez class.

Étiquette de colonne et Valeur d'étiquette de colonne

Balises régies sur les colonnes de la table. Balise de colonne correspond à une clé de balise, et Valeur de balise de colonne correspond à une clé de balise avec une valeur spécifique. Une table correspond quand l'une de ses colonnes porte la balise. S'applique aux tables uniquement.

N’importe quelle colonne contient class.email_address ou class.us_ssn, ou n’importe quelle colonne a sensitivity égal à restricted

Balise amont et Valeur de la balise amont

Tags gouvernés sur les sources amont directes de l'asset dans le lignage: les tables à partir desquelles une table est dérivée, ou les colonnes à partir desquelles une colonne est dérivée. Les sources peuvent être dans n'importe quel catalogue ou schéma du métastore, mais les tags d'automatisation ne concernent que les assets de sa portée. S'applique aux tables et aux colonnes.

Une table en amont directe porte pii, ou une colonne en amont directe possède sensitivity égale à restricted

Nombre de requêtes lues et Nombre de requêtes d’écriture

Nombre de query sur l’asset au cours des 30 derniers jours. S’applique aux tables uniquement. Le nombre de lectures de la table inclut toutes les lectures de la table, et pas seulement les query des utilisateurs.

Le nombre de lectures de query est égal à 0 pour trouver les tables sans lecture enregistrée, ou supérieur à 100 pour trouver celles qui sont très utilisées

Dernière interrogation

Nombre de jours depuis la dernière lecture ou écriture de l’asset. Chaque lecture de la table est comptabilisée, pas seulement les query des utilisateurs. S’applique uniquement aux tables.

Dernière query il y a plus de 90 jours

Date de création et Dernière mise à jour

Le nombre de jours écoulés depuis la création ou la dernière modification de l'asset.

Dernière mise à jour il y a plus de 90 jours, ou au cours des 30 derniers jours

Propriétaire

Le propriétaire de l'actif, mis en correspondance avec les principaux que vous sélectionnez avec is one of ou is not one of . La correspondance s'effectue sur le propriétaire lui-même ; ainsi, la sélection d'un groupe ne correspond qu'aux actifs appartenant à ce groupe, et non aux actifs appartenant à ses membres.

Le propriétaire fait partie de vos administrateurs de plateforme de données

Description

Si l’asset possède une description, en utilisant exists ou does not exist .

La description n’existe pas , pour signaler les tables non documentées

Description de la colonne

Indique si les colonnes de niveau supérieur de la table ont des descriptions, en utilisant est présent sur toutes les colonnes , est manquant sur 1+ colonnes ou est manquant sur toutes les colonnes . Une description vide compte comme manquante, et une table sans colonnes ne correspond pas. S'applique uniquement aux tables.

La description de colonne est manquante sur une ou plusieurs colonnes , pour marquer les tables avec des colonnes non documentées

Nom

Indique si le nom de l’asset contient une chaîne, en utilisant contains ou does not contain .

Le nom contient _staging

Statut général

Indique si tous les contrôles de détection d’anomalies ont réussi lors du dernier scan de la table, en utilisant is healthy (sain) ou is unhealthy (non sain). S’applique uniquement aux tables.

Le statut global est sain , pour exiger des tables qui réussissent chaque vérification

Fraîcheur

indique si la table a été mise à jour aussi récemment que la détection d'anomalies l'attend, en utilisant is healthy ou is unhealthy . S'applique uniquement aux tables.

La fraîcheur n'est pas saine , pour marquer les tables obsolètes

Intégralité

Indique si la table a reçu le nombre de lignes attendu par la détection d'anomalies, en utilisant is healthy (est sain) ou is unhealthy (est malsain). S'applique uniquement aux tables.

L'exhaustivité est malsaine pour marquer les tables qui ont reçu moins de lignes que prévu

remarque

Lire le nombre de queries et le nombre de dernières queries à chaque lecture de la table, notamment :

Les tables sans résultats de détection d'anomalies, comme les tables situées dans des schémas où la détection d'anomalies n'est pas activée, ne correspondent pas à l' État global , à la Fraîcheur ou à l' Exhaustivité . L'exécution ignore ces tables et indique les cibles ignorées dans l'historique d'exécution. Pour utiliser ces conditions sur une table, activez la détection d'anomalies sur son schéma.

Notifier les utilisateurs​

Pour informer les utilisateurs lorsqu’une automatisation met à jour des assets, activez Notify users via e-mail dans la section Action , puis sélectionnez les utilisateurs à informer :

  • Propriétaires d’assets : informez le propriétaire de chaque asset correspondant.
  • Utilisateurs spécifiques : informez une liste d'utilisateurs que vous fournissez, indépendamment du propriétaire des asset correspondants. Ces destinataires reçoivent un récapitulatif couvrant tous les assets correspondants.

Les notifications ne concernent que les assets modifiés au cours d’une exécution ; par conséquent, une simulation n’en envoie aucune.

Examiner l'historique des exécutions​

L'historique des exécutions sur la page de détails d'une automatisation couvre à la fois les simulations et les exécutions réelles. Pour chaque exécution, vous pouvez voir son état, quand elle a démarré , combien d' assets elle a fait correspondre et sa durée . Les simulations sont marquées afin que vous puissiez les distinguer des exécutions ayant attribué des tags. Cliquez sur une exécution pour voir les assets auxquels elle a correspondu.

Activer ou désactiver une automatisation​

Le statut d’une automatisation est soit En attente de vérification , soit Activé :

  • En attente de révision : l'automatisation n'attribue ni ne supprime de tags. Vous pouvez effectuer une simulation aussi souvent que vous le souhaitez.
  • Activé : l'automatisation s'exécute selon son calendrier, en attribuant et en supprimant des tags sur les assets correspondants.

Ouvrez une automatisation et cliquez sur Activer l’automatisation pour l’activer, ou sur Désactiver l’automatisation pour la remettre en Examen en attente . La désactivation arrête le calendrier de l’automatisation et empêche les exécutions manuelles, mais n’arrête pas une exécution déjà en cours. Pour exécuter immédiatement une automatisation activée, cliquez sur Exécuter .

Limitations​

Les automatisations de tag ont les limitations suivantes :

  • Une automatisation cible un seul type d’asset : tables, colonnes ou volumes.
  • Une automatisation est limitée à un seul catalogue. Elle ne peut pas s’étendre sur plusieurs catalogues ou sur un métastore entier.
  • La portée d'une automatisation couvre tous les types de tables : MANAGED, EXTERNAL, VIEW, MATERIALIZED_VIEW, STREAMING_TABLE et FOREIGN. Les automatisations ne peuvent pas être limitées à des types de tables spécifiques.
  • Les résultats de l'automatisation récurrente sont généralement disponibles dans les 24 heures. Les planifications personnalisées ou basées sur des événements ne sont pas disponibles.
  • Impossible de modifier la portée et l'action après la création d'une automatisation. Pour modifier l'un ou l'autre, créez une nouvelle automatisation.
  • Chaque exécution traite un maximum de 500 cibles correspondantes.
  • Une automatisation peut affecter ou supprimer un maximum de 5 tags régis. Chaque tag régi ne peut être affecté ou supprimé qu'une seule fois par automatisation.

Dépannage​

  • L'automatisation ne correspond à aucun asset : vérifiez que la portée inclut le catalogue et les schémas qui contiennent vos assets, et que vos conditions ne sont pas trop restrictives. Utilisez une simulation pour prévisualiser les correspondances. État général , Fraîcheur et Complétude ne correspondent qu'aux tables qui ont des résultats de détection d'anomalies, et Tag en amont et Valeur du tag en amont ne correspondent qu'aux assets qui ont enregistré la lignée.
  • Une exécution a partiellement échoué : des tags ont été appliqués à certains assets mais pas à d'autres, généralement parce que vous n'avez pas ASSIGN sur un tag gouverné ou APPLY TAG sur un asset. Ouvrez l'exécution pour voir le résultat pour chaque asset, corrigez l'autorisation, puis exécutez à nouveau l'automatisation.
  • Une exécution prend beaucoup de temps : les portées plus larges prennent plus de temps à se terminer. Si une exécution n'est pas terminée après quelques heures, vérifiez l'historique d'exécution pour détecter une erreur.

Ressources supplémentaires​