Appliquer des étiquettes aux pipelines d'ingestion gérés

info

Aperçu

Cette fonctionnalité est en aperçu public.

S'applique à : connecteurs SaaS connecteurs de base de données connecteurs basés sur la query

Découvrez comment appliquer des tags aux pipelines d'ingestion gérés pour organiser les ressources, suivre la propriété et attribuer les coûts.

Les tags de pipeline sont différents des politiques d'utilisation Serverless. Les tags de pipeline sont des métadonnées sur la ressource de pipeline, tandis que les politiques d'utilisation serverless appliquent des tags aux enregistrements de facturation du compute serverless. Voir Attribution des utilisations avec les politiques d'utilisation serverless.

Fonctionnement des tags de pipeline

Les tags de pipeline sont des paires clé-valeur personnalisées que vous définissez dans votre spécification de pipeline. Utiliser les balises pour :

• Regroupez les pipelines par environnement, projet ou équipe.
• Identifiez l'équipe ou la personne responsable d'un pipeline.
• Associez l'utilisation des pipelines à des centres de coûts ou à des budgets spécifiques.
• Filtrer et automatiser les Opérations en fonction des valeurs des balises.

Les tags se propagent aux tables système et aux enregistrements de facturation, ce qui vous permet de query et d'analyser les métadonnées de pipeline parallèlement aux données d'utilisation.

Ajouter ou mettre à jour des tags de pipeline

Ajoutez ou mettez à jour des tags de pipeline avec un objet tags dans votre spécification de pipeline. Par exemple,

JSON

{
  "name": "sales-data-pipeline",
  "catalog": "prod",
  "target": "sales",
  "serverless": true,
  "tags": {
    "environment": "production",
    "owner": "data-engineering-team",
    "costcenter": "engineering-analytics",
    "project": "sales-analytics"
  },
  "ingestion_definition": {
    "connection_name": "salesforce-prod",
    "objects": [
      {
        "table": {
          "source_schema": "salesforce",
          "source_table": "Account",
          "destination_catalog": "prod",
          "destination_schema": "sales",
          "table_configuration": {
            "scd_type": "SCD_TYPE_1"
          }
        }
      }
    ]
  }
}

Afficher les balises de pipeline

Pour afficher les tags pour un pipeline spécifique, query la table système pipelines. Consultez la référence de la table système des Jobs.

Ressources supplémentaires

• Surveiller le coût du pipeline d’ingestion géré