Utilisez des tags pour attribuer et suivre l'utilisation
Cet article explique comment utiliser les tags pour attribuer l’utilisation du compute à des workspaces, des équipes, des projets ou des utilisateurs spécifiques, afin de prendre en charge le suivi des coûts et la budgétisation.
Les administrateurs de compte et de Workspace peuvent voir le montant des dépenses balisées sur la page Coût dans Governance Hub.
Il existe deux types de tags :
- Balises default : Appliquées automatiquement par Databricks aux ressources déployées dans le cloud. Ceux-ci fournissent des métadonnées de base comme le fournisseur, l'ID de cluster et le créateur.
- Tags personnalisés : tags définis par l'utilisateur que vous pouvez ajouter aux compute Ressources et aux charges de travail Serverless. Cela permet un suivi granulaire, des rapports et une budgétisation.
Les données des tags sont stockées en texte brut et peuvent être répliquées à l’échelle mondiale. N’utilisez pas de noms de tags, de valeurs ou de descripteurs qui pourraient compromettre la sécurité de vos ressources. Par exemple, n’utilisez pas de noms de tags, de valeurs ou de descripteurs contenant des informations personnelles ou sensibles.
Balises default
Databricks ajoute automatiquement des balises default aux ressources de compute qu'il déploie dans votre compte cloud. Ces tags attribuent l'utilisation à Databricks et fournissent des informations de base sur la ressource, telles que son nom, son ID et son créateur.
Les balises par default et les clés de balises se propagent automatiquement aux étiquettes sur les ressources GCE telles que les machines virtuelles et leurs disques persistants.
Clés et valeurs de tag default
Databricks applique des tags default aux ressources de compute. Les clés de balise exactes dépendent du type de ressource.
All-purpose and Jobs compute
Databricks ajoute les tags default suivants aux computes classiques multifonctions et aux Jobs :
Clé de tag | Valeur |
|---|---|
| Valeur constante : |
| ID interne du cluster Databricks. |
| Nom du cluster |
| Nom d'utilisateur (adresse e-mail) de l'utilisateur qui a créé le cluster |
| Nom du Job (ne se propage que sur le compute des Jobs). Si vous utilisez l'API Jobs 2.0, cela équivaut à |
| ID du Job (se propage uniquement sur le compute des Jobs) |
Pour les clés et valeurs de balise propagées aux ressources GCE, les lettres sont converties en minuscules. Les caractères sont supprimés s'ils ne sont pas des lettres, des chiffres, des underscores ou des tirets. L'adresse e-mail du créateur avec @ est remplacée par _at_. Par exemple, X+Y@databricks.com devient xy_at_databricks.com.
Le compute utilisé par le profilage des données inclut ces tags supplémentaires :
Clé de tag | Valeur |
|---|---|
| vrai |
| ID de la table surveillée |
| ID du workspace où le moniteur a été créé |
| ID du métastore où la table surveillée existe |
SQL Warehouse
Databricks ajoute les balises default suivantes aux SQL warehouses.
Clé de tag | Valeur |
|---|---|
| Valeur constante : |
| ID interne Databricks du cluster sous-jacent |
| ID interne Databricks du SQL Warehouse |
| Nom d'utilisateur (adresse e-mail) de l'utilisateur qui a créé le warehouse |
Pool
Databricks ajoute les tags default suivants aux pools et aux ressources de compute créées par les pools.
Clé de tag | Valeur |
|---|---|
| Valeur constante : |
| ID interne Databricks de l'utilisateur qui a créé le pool |
| ID interne Databricks du Pool |
Tags personnalisés
Les tags personnalisés vous permettent d'attribuer l'utilisation du compute à des équipes, des projets ou des centres de coûts spécifiques avec plus de granularité que les tags default. Ces tags sont appliqués par les utilisateurs ou les administrateurs et se propagent à la fois aux logs d'utilisation de votre compte et aux ressources cloud applicables. Ces tags sont également utilisés pour créer et surveiller les budgets de votre compte Databricks.
Ressources prises en charge pour les tags personnalisés
Vous pouvez ajouter des tags personnalisés pour les objets suivants gérés par Databricks :
Objet | Interface de tagging (UI) | Interface de marquage (API) |
|---|---|---|
Pool | Interface utilisateur des Pools dans le workspace Databricks | |
Calcul multifonction et Job compute | Interface utilisateur de compute dans le workspace Databricks | |
SQL Warehouse | Interface utilisateur du SQL Warehouse dans le Workspace Databricks |
Les tags personnalisés apparaissent en minuscules dans les Logs GCE. Les caractères sont supprimés s'ils ne sont pas des lettres, des chiffres, des traits de soulignement ou des tirets. Par exemple, My Key devient mykey et My.Val devient myval.
Étiqueter les charges de travail Serverless Compute
Aperçu
Cette fonctionnalité est en aperçu public.
Pour attribuer l'utilisation du compute Serverless aux utilisateurs, groupes ou projets, vous pouvez utiliser les politiques d'utilisation Serverless. Lorsqu'un utilisateur se voit attribuer une politique d'utilisation Serverless, son utilisation Serverless est automatiquement taguée avec les tags personnalisés de sa politique. Les politiques d'utilisation Serverless peuvent être appliquées aux Notebooks, jobs, pipelines et Endpoints de diffusion de modèles Serverless.
L'utilisation du compute Serverless est enregistrée dans la table système d'utilisation facturable de votre compte. Les anciens rapports d’utilisation de DBU n’incluent pas l’utilisation Serverless ni les tags de politique d’utilisation Serverless.
Consultez l'attribution de l'utilisation avec les politiques d'utilisation serverless.
Propagation des tags
Vous pouvez utiliser les tags de cluster et de pool pour agréger et analyser les coûts. Ces tags se propagent de la manière suivante :
- Tags dans les rapports DBU : les tags personnalisés sont propagés aux logs de la table système d’utilisation facturable. Les tags personnalisés et par default sont propagés aux rapports d’utilisation DBU dans les rapports download.
- Libellés GCE pour chaque VM et ses disques persistants : les tags se propagent aux libellés sur les ressources GCE telles que la VM et ses disques persistants. Cela vous permet d'utiliser la mesure de l'utilisation de GCE pour attribuer les coûts. Les clés et les valeurs de la balise sont transformées pour être conformes aux limites de format des étiquettes GCE.
Comment les tags se propagent pour les clusters créés à partir de pools
Les tags se propagent aux instances de nœud différemment selon qu'un cluster a été créé à partir d'un pool ou non.
- Si un cluster n’est pas créé à partir d’un pool, ses tags se propagent comme prévu aux instances de nœud.
- Si un cluster est créé à partir d'un Pool, ses instances héritent des tags de Pool et des Cluster Tags. Les tags du Pool sont utilisés directement pour les données d'utilisation des VM uniquement pour les VM inactives.
- En cas de conflit de nom de tag, les tags default de Databricks ont priorité sur les tags personnalisés, et les tags du Pool ont priorité sur les Cluster Tags.
Application des tags
Pour appliquer l'utilisation de tags personnalisés spécifiques, vous pouvez utiliser des politiques de compute. Voir l'application des balises personnalisées. Pour appliquer des tags personnalisés sur les workloads de calcul serverless, utilisez les politiques d'utilisation serverless.
Limitations
- Les clés et valeurs de tag peuvent contenir uniquement des lettres, des espaces, des chiffres ou les caractères
+,-,=,.,_,:,/,@. Les tags contenant d'autres caractères ne sont pas valides. - Si vous modifiez les noms ou les valeurs des clés de tag, ces modifications ne s'appliquent qu'après le redémarrage du cluster ou l'extension du Pool.
- Le nombre maximal de tags personnalisés pouvant être propagés aux libellés GCE est de 54.
- La longueur maximale pour les libellés GCE, clés et valeurs, est de 63 caractères.
- La propagation des libellés peut être retardée en raison des limites de taux d'API GCE pour le projet. Vous pouvez résoudre ce problème en augmentant les limites de taux d'API GCE pour le projet Google Cloud.
Limites d'étiquettes GCE
Pour les étiquettes GCE, il existe des limitations :
- Les clés et les valeurs doivent être composées uniquement de lettres minuscules, de caractères numériques, de traits de soulignement et de tirets.
- La longueur maximale pour les clés et valeurs d'étiquettes GCE est de 63 caractères.
- Le nombre maximal de balises pouvant être propagées aux étiquettes GCE est de 54.
Pour se conformer aux règles de format GCE, les balises sont transformées avant de devenir des clés et des valeurs d'étiquette GCE. S'il y a des doublons après la transformation, la paire de clés et de valeurs qui apparaît plus tard (plus bas) dans les définitions de balises est celle qui persiste.