Automatiser l’attribution des tags

info

Bêta

Cette fonctionnalité est en version bêta. Les administrateurs de Workspace peuvent contrôler l’accès à cette fonctionnalité depuis la page Aperçus . Consultez Gérer les aperçus Databricks.

Cette page explique comment créer et gérer des automatisations de tags, qui attribuent des tags gouvernés aux tables et volumes Unity Catalog à grande échelle. Pour une vue d’ensemble des tags gouvernés, consultez Tags gouvernés.

Une automatisation encode vos règles métier selon les conditions que vous définissez, puis attribue ou supprime des tags gouvernés sur les assets correspondants. Après la création d'une automatisation, Databricks maintient les tags à jour à mesure que vos données et métadonnées changent.

Vous pouvez créer une automatisation manuellement dans l’explorateur de catalogue ou utiliser Genie pour concevoir une automatisation en décrivant votre règle en langage naturel :

Les administrateurs automatisent l’attribution de tags pour une série de workflows de gouvernance, notamment :

• Certification des données de confiance qui répondent à vos critères de préparation.
• Suppression des données obsolètes qui ne sont plus maintenues ou interrogées.
• Agrégation de la sensibilité des colonnes vers un niveau de sensibilité au niveau de la table, comme dans l'exemple ci-dessus.
• Marquage des assets auxquels il manque les tags requis , puis notification de leurs propriétaires.
• Nettoyage des tags obsolètes qui ne s’appliquent plus.

Comme les automatisations utilisent des tags régis, chaque tag qu'elles attribuent est conforme aux mêmes valeurs autorisées et aux mêmes permissions que celles qui régissent le tag manuel.

Pour détecter et étiqueter automatiquement les données sensibles dans les colonnes, utilisez plutôt Data Classification. Pour comparer toutes les fonctionnalités d’étiquetage automatique, consultez Étiquetage manuel vs automatisé.

Prérequis

Avant de créer une automatisation, assurez-vous de disposer des éléments suivants :

• USE CATALOG, USE SCHEMA et APPLY TAG sur le catalogue dans le périmètre de l'automatisation. Ces éléments sont vérifiés au niveau du catalogue ; par conséquent, restreindre une automatisation à des schémas spécifiques ne réduit pas les privilèges requis.
• MANAGE sur le catalogue dans le périmètre de l’automatisation.
• L’autorisation ASSIGN sur chaque tag gouverné que l’automatisation attribue ou supprime.
• Les tags gouvernés que vous souhaitez attribuer doivent déjà exister avec des valeurs autorisées définies. Pour créer des tags gouvernés, consultez Créer et gérer des tags gouvernés. Pour plus d'informations sur les autorisations des tags gouvernés, consultez Gérer les autorisations sur les tags gouvernés.

L’onglet Automations répertorie uniquement les automatisations pour les tags pour lesquels vous disposez du privilège ASSIGN. Les administrateurs de compte disposent default de ASSIGN sur tous les tags et peuvent voir toutes les automatisations. Voir Gérer les permissions sur les tags gouvernés.

Activer les automatisations de tags

Les automatisations de tags sont activées par default dans la plupart des workspaces. Si vous ne voyez pas le tab Automations sur la page Governed Tags , un administrateur de workspace peut activer la prévisualisation :

1. En tant qu’administrateur du workspace, cliquez sur votre nom d’utilisateur dans la barre supérieure du workspace.
2. Dans le menu, sélectionnez Previews .
3. Recherchez l’aperçu Tag automations et utilisez le bouton bascule pour l’activer.

Pour plus d’informations sur la gestion des aperçus, consultez Manage workspace-level previews.

remarque

Les fonctionnalités en aperçu ne sont pas couvertes par les certifications de conformité. Dans les Workspace avec le profil de sécurité de la conformité activé, l’aperçu Tag automations peut ne pas apparaître sur la page Previews . Pour l’activer dans les workspaces souhaités, contactez votre interlocuteur Databricks. Pour obtenir la liste des aperçus que vous pouvez activer dans ces Workspace, consultez Supported preview features.

Créer ou modifier une automatisation

Databricks recommande de décrire l'automatisation souhaitée à Genie en langage naturel et de le laisser créer la règle pour vous. Genie définit la portée, les conditions et l'action, et vous pouvez tout examiner et ajuster avant d'enregistrer.

1. Dans l’Explorateur de catalogues, ouvrez la page Governed Tags et cliquez sur l’onglet Automations tab .

   

2. Cliquez sur Créer une automatisation .

3. Dans le champ d’invite, décrivez l’automatisation souhaitée ou partez d’une suggestion de Genie.

4. Vérifiez ce que Genie a généré et ajustez-en n’importe quelle partie.

Vous pouvez également remplir le formulaire vous-même :

1. Dans la section Scope , sélectionnez un catalogue, limitez-le éventuellement à des schémas spécifiques et choisissez si l’automatisation cible des tables ou des volumes.
2. Dans la section Condition , ajoutez les conditions auxquelles un asset doit correspondre, en utilisant Tout faire correspondre ou Faire correspondre n’importe lequel . Voir Référence des conditions.
3. Dans la section Action , sélectionnez Ajouter un tag ou Supprimer un tag , choisissez la clé et la valeur du tag gouverné, puis sélectionnez Remplacer la valeur existante pour remplacer une valeur qu’un asset possède déjà. Voir Notifier les utilisateurs.
4. Passez à l'étape Planification et détails , puis sélectionnez Manuel pour exécuter l'automatisation à la demande ou Calendrier récurrent pour l'exécuter automatiquement.
5. Dans la section Détails , saisissez un nom et une description, puis cliquez sur Simulation .

L'enregistrement d'une nouvelle automatisation la crée et start une simulation, qui enregistre les assets que l'automatisation ferait correspondre sans attribuer de tags. Examinez les assets correspondants et, s'ils ne sont pas conformes à vos attentes, ajustez les conditions et cliquez à nouveau sur Simulation . Lorsque vous êtes satisfait, cliquez sur Activer l'automatisation .

Pour modifier une automatisation existante, ouvrez-la depuis l'onglet Automations et cliquez sur Edit . Vous pouvez modifier ses conditions, sa planification, son nom et sa description, mais pas sa portée ou son action. Pour modifier l'un ou l'autre, créez une nouvelle automatisation.

Exemple : certifiez les tables qui répondent à vos critères de préparation

Pour certifier les tables qui atteignent votre seuil de qualité, créez une automatisation qui attribue le tag de certification à chaque table correspondant à :

1. Pour Condition , sélectionnez Tout faire correspondre et ajoutez des critères afin que seules les tables prêtes correspondent :

   • Le propriétaire est l'un des principaux responsables des données de production.
   • La table a une description.
   • La table a fait l'objet de plus de 100 queries de lecture au cours des 30 derniers jours.

2. Pour Action , attribuez le tag system.certification_status avec la valeur certified.

Exemple : regrouper la sensibilité des colonnes vers un niveau de sensibilité au niveau de la table

Pour maintenir la classification au niveau de la table synchronisée avec les colonnes sensibles détectées par la classification des données, créez une automatisation qui tague une table lorsque l'une de ses colonnes porte un tag de sensibilité :

1. Pour Condition , sélectionnez Match any (Correspondance avec l'un) et ajoutez des critères de Column tag (Tag de colonne) afin qu'une table corresponde si l'une de ses colonnes porte class.us_driver_license, class.us_passport, class.us_ssn ou class.us_itin.
2. Pour Action , attribuez votre tag de niveau de sensibilité au niveau de la table avec la valeur restricted, et sélectionnez Remplacer la valeur existante afin que les tables ayant un niveau inférieur soient mises à jour.

Créez une automatisation similaire pour chaque niveau que vous utilisez, en faisant correspondre les tags de classification qui le justifient.

Référence des conditions

Le tableau suivant répertorie les conditions que vous pouvez ajouter dans la section Condition . Les conditions qui s’appliquent uniquement aux tables, telles que Column tag et les conditions d’utilisation des query, ne sont pas proposées lorsque la portée d’une automatisation cible des volumes :

État	Ce à quoi cela correspond	Exemples
Tag et Valeur du tag	Tags gouvernés existants sur l'asset. Sélectionnez parmi les tags gouvernés de votre compte.	cost_center égal à finance. Pour faire correspondre une famille de clés de tag, comme chaque tag class., utilisez l'opérateur starts with et saisissez class.
Tag de colonne	Tags gouvernés sur les colonnes de l'asset. S’applique aux tables uniquement.	Toute colonne porte class.email_address ou class.us_ssn
Nombre de requêtes lues et Nombre de requêtes d’écriture	Le nombre de queries sur l’asset au cours des 30 derniers jours. S’applique aux tables uniquement.	Le nombre de lectures de query est égal à 0 pour trouver les tables inutilisées, ou est supérieur à 100 pour trouver celles qui sont fortement utilisées
Dernière interrogation	Le nombre de jours écoulés depuis la dernière interrogation de l'actif. S’applique aux tables uniquement.	Dernière query il y a plus de 90 jours
Date de création et Dernière mise à jour	Le nombre de jours écoulés depuis la création ou la dernière modification de l'asset.	Dernière mise à jour il y a plus de 90 jours, ou au cours des 30 derniers jours
Propriétaire	Le propriétaire de l'actif, mis en correspondance avec les principaux que vous sélectionnez avec is one of ou is not one of . La correspondance s'effectue sur le propriétaire lui-même ; ainsi, la sélection d'un groupe ne correspond qu'aux actifs appartenant à ce groupe, et non aux actifs appartenant à ses membres.	Le propriétaire fait partie de vos administrateurs de plateforme de données
Description	Si l’asset possède une description, en utilisant exists ou does not exist .	La description n’existe pas , pour signaler les tables non documentées
Nom	Indique si le nom de l’asset contient une chaîne, en utilisant contains ou does not contain .	Le nom contient _staging

État	Ce à quoi cela correspond	Exemples
Tag et Valeur du tag	Tags gouvernés existants sur l'asset. Sélectionnez parmi les tags gouvernés de votre compte.	cost_center égal à finance. Pour faire correspondre une famille de clés de tag, comme chaque tag class., utilisez l'opérateur starts with et saisissez class.
Tag de colonne	Tags gouvernés sur les colonnes de l'asset. S’applique aux tables uniquement.	Toute colonne porte class.email_address ou class.us_ssn
Nombre de requêtes lues et Nombre de requêtes d’écriture	Le nombre de queries sur l’asset au cours des 30 derniers jours. S’applique aux tables uniquement.	Le nombre de lectures de query est égal à 0 pour trouver les tables inutilisées, ou est supérieur à 100 pour trouver celles qui sont fortement utilisées
Dernière interrogation	Le nombre de jours écoulés depuis la dernière interrogation de l'actif. S’applique aux tables uniquement.	Dernière query il y a plus de 90 jours
Date de création et Dernière mise à jour	Le nombre de jours écoulés depuis la création ou la dernière modification de l'asset.	Dernière mise à jour il y a plus de 90 jours, ou au cours des 30 derniers jours
Propriétaire	Le propriétaire de l'actif, mis en correspondance avec les principaux que vous sélectionnez avec is one of ou is not one of . La correspondance s'effectue sur le propriétaire lui-même ; ainsi, la sélection d'un groupe ne correspond qu'aux actifs appartenant à ce groupe, et non aux actifs appartenant à ses membres.	Le propriétaire fait partie de vos administrateurs de plateforme de données
Description	Si l’asset possède une description, en utilisant exists ou does not exist .	La description n’existe pas , pour signaler les tables non documentées
Nom	Indique si le nom de l’asset contient une chaîne, en utilisant contains ou does not contain .	Le nom contient _staging

Notifier les utilisateurs

Pour informer les utilisateurs lorsqu’une automatisation met à jour des assets, activez Notify users via e-mail dans la section Action , puis sélectionnez les utilisateurs à informer :

• Propriétaires d’assets : informez le propriétaire de chaque asset correspondant.
• Utilisateurs spécifiques : informez une liste d'utilisateurs que vous fournissez, indépendamment du propriétaire des asset correspondants. Ces destinataires reçoivent un récapitulatif couvrant tous les assets correspondants.

Les notifications ne concernent que les assets modifiés au cours d’une exécution ; par conséquent, une simulation n’en envoie aucune.

Examiner l'historique des exécutions

L'historique des exécutions sur la page de détails d'une automatisation couvre à la fois les simulations et les exécutions réelles. Pour chaque exécution, vous pouvez voir son état, quand elle a démarré , combien d' assets elle a fait correspondre et sa durée . Les simulations sont marquées afin que vous puissiez les distinguer des exécutions ayant attribué des tags. Cliquez sur une exécution pour voir les assets auxquels elle a correspondu.

Activer ou désactiver une automatisation

Le statut d’une automatisation est soit En attente de vérification , soit Activé :

• En attente de révision : l'automatisation n'attribue ni ne supprime de tags. Vous pouvez effectuer une simulation aussi souvent que vous le souhaitez.
• Activé : l'automatisation s'exécute selon son calendrier, en attribuant et en supprimant des tags sur les assets correspondants.

Ouvrez une automatisation et cliquez sur Activer l’automatisation pour l’activer, ou sur Désactiver l’automatisation pour la remettre en Examen en attente . La désactivation arrête le calendrier de l’automatisation et empêche les exécutions manuelles, mais n’arrête pas une exécution déjà en cours. Pour exécuter immédiatement une automatisation activée, cliquez sur Exécuter .

Limitations

Les automatisations de tags présentent les limitations suivantes pendant la version bêta :

• Une automatisation cible uniquement les tables ou uniquement les volumes. Pour gérer à la fois les tables et les volumes, créez une automatisation distincte pour chacun.
• Une automatisation est limitée à un seul catalogue. Elle ne peut pas s’étendre sur plusieurs catalogues ou sur un métastore entier.
• La portée d'une automatisation couvre tous les types de tables : MANAGED, EXTERNAL, VIEW, MATERIALIZED_VIEW, STREAMING_TABLE et FOREIGN. Les automatisations ne peuvent pas être limitées à des types de tables spécifiques.
• Les résultats de l'automatisation récurrente sont généralement disponibles dans les 24 heures. Les planifications personnalisées ou basées sur des événements ne sont pas disponibles.
• Impossible de modifier la portée et l'action après la création d'une automatisation. Pour modifier l'un ou l'autre, créez une nouvelle automatisation.
• Chaque exécution traite un maximum de 500 assets correspondants.
• Une automatisation peut assigner ou supprimer un maximum de 5 tags gouvernés. Chaque tag gouverné ne peut être assigné ou supprimé qu'une seule fois par automatisation.

Dépannage

• L'automatisation ne correspond à aucun asset. Vérifiez que la portée inclut le catalogue et les schémas qui contiennent vos assets, et que vos conditions ne sont pas trop restrictives. Utilisez une simulation pour prévisualiser les correspondances.
• Une exécution a partiellement échoué. Tags appliqués à certains assets mais pas à d’autres, généralement parce qu’il vous manque ASSIGN sur un tag gouverné ou APPLY TAG sur un asset. Ouvrez l’exécution pour voir le résultat pour chaque asset, corrigez l’autorisation, puis exécutez à nouveau l’automatisation.
• Une exécution prend beaucoup de temps. Les portées plus larges prennent plus de temps à se terminer. Si une exécution n’est pas terminée après quelques heures, vérifiez l’historique des exécutions pour détecter une éventuelle erreur.

Ressources supplémentaires

• Tags gouvernés
• Gérer les autorisations sur les tags gouvernés
• Marquer les données comme certifiées ou obsolètes