Aplicar tags para gerenciar o pipeline de ingestão

info

Visualização

Este recurso está em Pré-visualização Pública.

Aplica-se a : Criação pipeline baseada em API Conectores SaaS Conectores de banco de dados

Aprenda como aplicar tags ao pipeline de ingestão para organizar recursos, rastrear a propriedade e atribuir custos.

As tags de pipeline são diferentes das políticas de orçamento serverless. tags de pipeline são metadados do recurso pipeline , enquanto as políticas de orçamento serverless aplicam tags aos registros de faturamento compute serverless . Consulte Uso de atributos com políticas de orçamento serverless.

Como funcionam as tags de pipeline

tags de pipeline são pares personalizados do tipo key-valor que você define na especificação do seu pipeline . Use tags para:

• Organize o pipeline por ambiente, projeto ou equipe.
• Identifique a equipe ou o indivíduo responsável por um pipeline.
• Associe o uso pipeline a centros de custo ou orçamentos específicos.
• Filtre e automatize operações com base em valores tag .

As tags são propagadas para as tabelas do sistema e registros de faturamento, permitindo que você consulte e analise os metadados do pipeline juntamente com os dados de uso.

Adicionar ou atualizar tags de pipeline

Adicione ou atualize as tags do pipeline com um objeto tags na sua especificação de pipeline. Por exemplo,

JSON

{
  "name": "sales-data-pipeline",
  "catalog": "prod",
  "target": "sales",
  "serverless": true,
  "tags": {
    "environment": "production",
    "owner": "data-engineering-team",
    "costcenter": "engineering-analytics",
    "project": "sales-analytics"
  },
  "ingestion_definition": {
    "connection_name": "salesforce-prod",
    "objects": [
      {
        "table": {
          "source_schema": "salesforce",
          "source_table": "Account",
          "destination_catalog": "prod",
          "destination_schema": "sales",
          "table_configuration": {
            "scd_type": "SCD_TYPE_1"
          }
        }
      }
    ]
  }
}

visualizar tags pipeline

Para view tags de um pipeline específico, consulte a tabela do sistema pipelines . Consulte a tabela de referência do sistema de tarefas.

Recursos adicionais

• Monitore o custo pipeline de ingestão de gerenciamento