Aller au contenu principal
Dernière mise à jour le

Classificateurs personnalisés

info

Bêta

Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.

Cette page décrit comment créer et gérer des classificateurs personnalisés pour la classification des données Databricks dans Unity Catalog. Les classificateurs personnalisés étendent le système de classification intégré afin que vous puissiez détecter les données sensibles spécifiques à votre organisation, telles que les identifiants d’employés internes, les codes de produit propriétaires, les identifiants de fournisseur ou les numéros de compte partenaire.

Pour créer un classificateur personnalisé, vous sélectionnez d'abord un tag gouverné. Ensuite, décrivez les données à détecter, fournissez des colonnes d'échantillons qui contiennent des valeurs représentatives, ou les deux. Databricks génère un aperçu de ce que le classificateur détecte afin que vous puissiez le réviser avant d'enregistrer. La classification des données détecte ensuite ce classificateur lors de ses analyses régulières.

remarque

Les classifieurs personnalisés détectent les données sensibles au niveau des colonnes lors des analyses de classification. Pour attribuer des tags gouvernés à des tables et des volumes entiers, comme un niveau de sensibilité au niveau de la table, automatisez l'attribution des tags (bêta) à la place.

En utilisant des classificateurs personnalisés, vous pouvez :

  • Étiqueter les données spécifiques à l'organisation : Détectez et configurez l'étiquetage automatique pour les types de données propres à votre organisation, tels que les identifiants d'employés, les codes Partenaires ou les numéros de compte internes.
  • Étendez les contrôles de gouvernance : Appliquez des masques ABAC au niveau des colonnes aux données sensibles.
remarque

La configuration du classificateur personnalisé et les métadonnées de détection que Databricks génère à partir de vos exemples de colonnes sont chiffrées au repos. Vous pouvez utiliser une clé gérée par le client (CMK) sur votre catalogue système pour gérer la clé de chiffrement. La configuration d'une clé CMK sur le catalogue système chiffre toutes les données du catalogue système, et pas seulement les données du classifieur personnalisé.

Configurer une clé gérée par le client sur le catalogue système dans l'Explorateur de catalogue.

Exigences​

  • La classification des données doit être activée sur au moins un catalogue dans le métastore. Consultez Utiliser la classification des données.
  • Votre Workspace doit disposer de compute Serverless (activé par default dans les Workspaces avec Unity Catalog).
  • Pour créer, modifier ou supprimer un classificateur personnalisé, vous devez être un administrateur du métastore.
  • Pour créer ou modifier un classificateur personnalisé, vous devez disposer de ASSIGN privilèges sur le tag gouverné utilisé par le classificateur. Consultez Gérer les autorisations sur les tags gouvernés.
  • Pour sélectionner une colonne d'exemple pour le classificateur, vous devez disposer de SELECT sur la table qui la contient. Databricks échantillonne la colonne pour générer l'aperçu.

Créer un classificateur personnalisé​

  1. Depuis la page des résultats de la classification des données, cliquez sur Gérer les classificateurs personnalisés .

    Bouton « Gérer les classificateurs personnalisés » sur la page des résultats de la classification des données.

  2. Dans le panneau latéral **Classificateurs personnalisés**, cliquez sur **Ajouter un classificateur**.

  3. Sélectionnez un tag . Choisissez un tag gouverné existant, ou créez un nouveau tag pour en définir un en ligne. Si le tag a des valeurs autorisées, choisissez la valeur spécifique que vous souhaitez détecter.

    L'assistant d'ajout de classificateur personnalisé avec l'étape Sélectionner une étiquette active, affichant le sélecteur d'étiquettes gouvernées au-dessus des étapes réduites Définir le classificateur et Générer le classificateur.

  4. Définir le classificateur . Fournissez une description, des exemples de colonnes, ou les deux, afin que Databricks sache quoi rechercher :

    • Dans Décrire comment classer , décrivez les données à détecter en langage clair, par exemple Columns that store a person's contact details.
    • Sous **Sélectionner les colonnes de données d’échantillon**, parcourez l’arborescence du catalogue et sélectionnez jusqu’à 10 colonnes qui contiennent des valeurs représentatives pour la classe.

    Pour savoir comment écrire une description efficace et choisir de bonnes colonnes d'exemple, consultez Définir le classificateur.

    L'étape Définir le classificateur de l'assistant Ajouter un classificateur personnalisé, montrant le champ Décrire comment classer le texte au-dessus du navigateur de catalogue Sélectionner les colonnes de données d'exemple avec deux colonnes sélectionnées.

  5. Générer le classificateur . Databricks génère un aperçu de ce que le classificateur détecte. Pour ajuster le résultat, modifiez la description ou les colonnes d'exemple et l'aperçu se régénère. Voir Aperçu du classificateur.

    L'étape Générer le classificateur de l'assistant Ajouter un classificateur personnalisé, montrant l'aperçu du classificateur généré avec un résumé en langage clair et des cartes de colonnes d'exemple qui répertorient les noms de colonnes et les valeurs d'exemple.

  6. Cliquez sur **Créer**. Ce bouton reste désactivé jusqu'à ce qu'un aperçu soit généré.

Les détections du classificateur personnalisé apparaissent généralement sur la page des résultats en quelques heures.

Définissez le classificateur​

Vous définissez un classificateur personnalisé avec une description, des colonnes d'exemple, ou les deux.

Votre description explique ce que représentent les données et affecte directement la manière dont Databricks génère le classificateur. Vous pouvez utiliser la description pour apprendre à Databricks à inclure ou à exclure des correspondances (par exemple, « les numéros de téléphone qui appartiennent à des clients individuels, et non à des lignes d'assistance publique ou de vente »).

Les colonnes d’échantillons aident Databricks à apprendre la forme des données à échantillonner. Vous avez besoin du privilège SELECT sur une table pour utiliser ses colonnes comme échantillons.

Un classificateur personnalisé s'applique à tous les catalogues du metastore pour lesquels la classification des données est activée. La portée par catalogue ou par schéma n'est pas prise en charge.

Aperçu du classificateur​

Avant d'enregistrer un classificateur personnalisé, Databricks génère un aperçu afin que vous puissiez vérifier ses règles de détection. L'aperçu décrit ce que le classificateur détecte en langage clair et affiche des exemples de noms et de valeurs de colonnes correspondants.

Les colonnes et les valeurs de l’aperçu sont des exemples générés par l’IA, et non des données de table réelles. Si l'aperçu ne correspond pas à ce que vous souhaitez détecter, modifiez la description ou les exemples de colonnes pour générer un nouvel aperçu.

Gérer les classificateurs personnalisés​

Le panneau latéral **Classificateurs personnalisés** répertorie tous les classificateurs personnalisés configurés pour le metastore. À partir de ce panneau, vous pouvez rechercher par nom d’étiquette, modifier un classificateur existant ou supprimer un classificateur.

Liste des classificateurs personnalisés dans le panneau latéral Classificateurs personnalisés.

Modifier un classificateur personnalisé​

Pour mettre à jour un classificateur personnalisé existant :

  1. Dans le volet latéral Classificateurs personnalisés , sélectionnez le classificateur personnalisé que vous souhaitez modifier. La vue d’édition affiche la description enregistrée du classificateur, les exemples de colonnes et l’aperçu.
  2. Modifiez la description, ou ajoutez ou supprimez des colonnes d'exemple. Databricks régénère l'aperçu automatiquement.
  3. Si l'aperçu est correct, cliquez sur Mettre à jour .

Les détections existantes de la configuration précédente restent en place.

Le tag gouverné et la valeur du tag ne peuvent pas être modifiés après la création d'un classificateur personnalisé. Pour passer à une balise différente, supprimez le classificateur personnalisé et créez-en un nouveau.

Supprimer un classificateur personnalisé​

  1. Dans le volet latéral Classificateurs personnalisés , sélectionnez le classificateur personnalisé que vous souhaitez supprimer.
  2. Cliquez sur **Supprimer**.
  3. Confirmer la suppression.

Lorsque vous supprimez un classificateur personnalisé :

  • Aucune nouvelle détection n'est produite pour ce classificateur.
  • Les détections existantes sont supprimées de la page des résultats de la classification des données.
  • Les étiquettes qui ont déjà été appliquées automatiquement aux colonnes ne sont pas supprimées automatiquement.

Afficher les détections de classificateur personnalisé​

Pour afficher les détections de classifieurs personnalisés, suivez les mêmes étapes que pour les classifications intégrées. Voir Afficher les résultats de la classification.

Limitations​

  • Vous pouvez créer un maximum de 50 classificateurs personnalisés par métastore.
  • Chaque classifieur personnalisé doit avoir une description, des exemples de colonnes ou les deux. Vous pouvez référencer un maximum de 10 exemples de colonnes.
  • Le nommage des tags gouvernés est soumis aux règles de la politique des tags.
  • Les classifieurs personnalisés s'appliquent à tous les catalogues avec classification des données activée dans le metastore. La portée par catalogue ou par schéma n'est pas prise en charge.
  • Le tag gouverné utilisé par un classifieur personnalisé ne peut pas être modifié après la création. Pour utiliser un tag différent, supprimez et recréez le classificateur personnalisé.
  • Les classificateurs personnalisés nouveaux et mis à jour s’appliquent uniquement aux analyses de classification des données ultérieures. Les résultats d'analyse existants ne sont pas automatiquement reclassifiés, de sorte que les détections pour les données précédemment analysées apparaissent après que la prochaine analyse soit terminée.
  • Toutes les limitations de la classification des données s'appliquent également aux classificateurs personnalisés, y compris les types de tables pris en charge. Consulter Limitations.

Dépannage​

Les rubriques suivantes vous aident à dépanner les problèmes courants liés aux classificateurs personnalisés.

Un classificateur personnalisé est suspendu​

Si un classificateur personnalisé ne peut plus produire de détections, Databricks le suspend et affiche un avertissement sur la page de résultats de classification des données. L'avertissement indique la raison. Un classificateur personnalisé suspendu ne produit aucune nouvelle détection.

Avertissement indiquant qu'un ou plusieurs classificateurs personnalisés sont suspendus.

Databricks suspend un classificateur personnalisé pour les raisons suivantes :

  • Le tag gouverné n'est plus valide. Le tag gouverné ou la valeur du tag a été supprimé(e), ou il manque une valeur requise au tag. Restaurez le tag ou la valeur, ou supprimez le classificateur personnalisé et créez-en un nouveau avec un tag valide. La modification de la description ou des colonnes d'échantillon ne résout pas cette suspension.
  • Databricks ne peut pas générer de règle de détection à partir de la description et des exemples de colonnes que vous avez fournies. Modifiez le classificateur personnalisé pour affiner la description ou remplacez les exemples de colonnes qui sont inaccessibles ou non représentatives, puis enregistrez pour régénérer le classificateur.

Autorisation refusée lors de la création ou de la liste des classifieurs personnalisés​

Vous devez être un administrateur de métastore. La création ou la modification d'un classificateur personnalisé nécessite en outre ASSIGN privilèges sur le tag gouverné. Voir les exigences.

Impossible de sélectionner une colonne d'exemple​

Vous devez disposer de SELECT sur la table qui contient la colonne. Si vous ne disposez pas de SELECT sur la table, demandez au propriétaire de la table de vous l’accorder, ou choisissez une colonne différente.

Ressources supplémentaires​

Sur cette page