Pular para o conteúdo principal

Use tags para atribuir e rastrear o uso

Este artigo explica como usar tags para atribuir o uso do compute a espaços de trabalho, equipes, projetos ou usuários específicos para apoiar o acompanhamento de custos e o orçamento.

Há dois tipos de tags:

  • tags padrão: Aplicadas automaticamente por Databricks ao recurso implantado na nuvem. Eles fornecem metadados básicos como fornecedor, ID de clustering e criador.
  • Tags personalizadas: Tags definidas pelo usuário que podem ser adicionadas às cargas de trabalho do compute recurso e do serverless. Isso permite o acompanhamento granular, a geração de relatórios e a elaboração de orçamentos.
atenção

Os dados das tags podem ser replicados globalmente. Não use nomes ou valores de tags que possam comprometer a segurança de seu recurso. Por exemplo, não use nomes de tags que contenham informações pessoais ou confidenciais.

tags padrão

Databricks adiciona automaticamente as tags default ao compute recurso implantado em sua nuvem account. Essas tags atribuem o uso a Databricks e fornecem informações básicas sobre o recurso, como seu nome, ID e criador.

As tags padrão se propagam automaticamente para AWS EC2 e AWS instâncias do EBS para análise de custos.

chave e valores da tag padrão

Databricks adiciona as seguintes tags default a compute recurso:

Etiqueta key

Valor

Vendor

Valor constante: Databricks

ClusterId

Databricks ID interna do clustering

ClusterName

Nome do clustering

Creator

Nome de usuário (endereçoemail ) do usuário que criou o clustering

RunName

Job name (só se propaga no Job compute)

JobId

Job ID (só se propaga no Job compute)

O cálculo usado pelo lakehouse monitoramento inclui essas tags adicionais:

Etiqueta key

Valor

LakehouseMonitoring

verdade

LakehouseMonitoringTableId

ID da tabela monitorada

LakehouseMonitoringWorkspaceId

ID do site workspace onde o monitor foi criado

LakehouseMonitoringMetastoreId

ID do metastore em que a tabela monitorada existe

Databricks adiciona as seguintes tags default ao pool e o recurso compute criado pelo pool.

Etiqueta key

Valor

Vendor

Valor constante: Databricks

DatabricksInstancePoolCreatorId

ID interno do Databricks do usuário que criou o pool

DatabricksInstancePoolId

ID interna do pool do Databricks

Etiquetas personalizadas

As tags personalizadas permitem que o senhor atribua o uso do compute a equipes, projetos ou centros de custo específicos com mais granularidade do que as tags do default. Essas tags são aplicadas por usuários ou administradores e se propagam tanto para o uso do seu account logs quanto para o recurso de nuvem aplicável. Essas tags também são usadas para criar e monitorar orçamentos em seu site Databricks account.

Recurso suportado para tags personalizadas

O senhor pode adicionar tags personalizadas para os seguintes objetos gerenciar por Databricks:

Objeto

Interface de marcação (UI)

Interface de marcação (API)

Workspace

N/A

conta API

Pool

UI do pool no site Databricks workspace

API do pool de instâncias

Para todos os fins e para o trabalho compute

computar a UI no site Databricks workspace

agrupamento API

Armazém SQL

SQL warehouse UI no site Databricks workspace

API de armazéns

As tags personalizadas aparecem em letras minúsculas no GCE logs. Os caracteres são removidos se não forem letras, números, sublinhados ou traços. Por exemplo, My Key se torna mykey e My.Val se torna myval.

atenção

Não atribua uma tag personalizada com o endereço key Name a um clustering. Cada clustering tem uma tag Name cujo valor é definido por Databricks. Se o senhor alterar o valor associado a key Name, o clustering não poderá mais ser rastreado por Databricks. Como consequência, o clustering pode não ser encerrado depois de se tornar parado e continuará a incorrer em custos de uso.

Tag serverless compute cargas de trabalho

info

Visualização

Esse recurso está em Public Preview.

Para atribuir o uso do serverless compute a usuários, grupos ou projetos, o senhor pode usar as políticas de orçamento do serverless. Quando um usuário recebe uma política de orçamento do serverless, seu uso do serverless é automaticamente marcado com as tags personalizadas da política. As políticas de orçamento sem servidor podem ser aplicadas a serverless Notebook, Job, pipeline e endpoint de modelo de serviço.

nota

O compute uso do serverless é registrado na account tabela do sistema de uso faturável do seu. Os DBU relatórios de serverless uso do legado não incluem as serverless tags de política orçamentária usage ou.

Consulte Uso de atributos com as políticas de orçamento do serverless.

Propagação de tags

As tags são propagadas para as instâncias do AWS EC2 de forma diferente, dependendo se o clustering foi criado ou não a partir de um pool.

Se um clustering for criado a partir de um pool, suas instâncias EC2 herdarão apenas as tags personalizadas e default workspace e pool, e não a tag do cluster. Portanto, se o senhor quiser criar um cluster a partir de um pool, certifique-se de atribuir todas as tags de cluster personalizadas de que precisa ao workspace ou pool.

As tags clustering e pool se propagam para os relatórios de usoDBU, mesmo que o clustering tenha sido criado a partir de um pool.

Se houver um conflito de nome de tag, as tags Databricks default têm precedência sobre as tags personalizadas e as tags pool têm precedência sobre a Cluster Tag.

Aplicação de tags

Para impor o uso de tags personalizadas específicas, o senhor pode usar as políticas do site compute. Consulte Aplicação de tags personalizadas. Para aplicar tags personalizadas nas cargas de trabalho serverless compute , use as políticas de orçamentoserverless.

Para garantir que determinadas tags sejam sempre preenchidas quando o recurso compute for criado em um workspace, é possível aplicar uma política IAM específica ao workspaceprincipal IAM role (aquele criado durante a configuração do workspace; entre em contato com o administrador do AWS se precisar de acesso). A IAM política deve incluir declarações explícitas de negação para a chave de tag obrigatória e valores opcionais. A criação do clustering falhará se as tags necessárias com um dos valores permitidos não forem fornecidas.

Por exemplo, se o senhor quiser impor as tags Department e Project, com apenas valores especificados permitidos para a primeira e um valor de forma livre e não vazio para a segunda, poderá aplicar uma política de IAM como esta:

JSON
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "MandateLaunchWithTag1",
"Effect": "Deny",
"Action": ["ec2:RunInstances", "ec2:CreateTags"],
"Resource": "arn:aws:ec2:region:accountId:instance/*",
"Condition": {
"StringNotEqualsIgnoreCase": {
"aws:RequestTag/Department": ["Deptt1", "Deptt2", "Deptt3"]
}
}
},
{
"Sid": "MandateLaunchWithTag2",
"Effect": "Deny",
"Action": ["ec2:RunInstances", "ec2:CreateTags"],
"Resource": "arn:aws:ec2:region:accountId:instance/*",
"Condition": {
"StringNotLike": {
"aws:RequestTag/Project": "?*"
}
}
}
]
}

Ambas as ações ec2:RunInstances e ec2:CreateTags são necessárias para cada tag para uma cobertura eficaz dos cenários em que há agrupamentos que têm apenas instâncias sob demanda, apenas instâncias pontuais ou ambas.

dica

A Databricks recomenda que o senhor adicione uma declaração de política separada para cada tag. A política geral pode se tornar longa, mas é mais fácil de depurar. Consulte a Referência de operadores de condição de política de IAM para obter uma lista de operadores que podem ser usados em uma política.

Os erros de criação de clustering devido a uma política IAM mostram um encoded error message, começando com:

Console
Cloud Provider Launch Failure: A cloud provider error was encountered while setting up the cluster.

A mensagem é codificada porque os detalhes do status da autorização podem constituir informações privilegiadas que o usuário que solicitou a ação não deve ver. Consulte DecodeAuthorizationMessage API (ou CLI) para obter informações sobre como decodificar essas mensagens.

Limitações

  • A chave e os valores da tag só podem conter letras, espaços, números ou os caracteres +, -, =, ., _, :, /, @. As tags que contêm outros caracteres são inválidas.
  • Se o senhor alterar os nomes ou valores das chaves de tag, essas alterações serão aplicadas somente após a reinicialização do clustering ou a expansão do site pool.
  • Se as tags personalizadas do clustering entrarem em conflito com as tags personalizadas do site pool, o clustering não poderá ser criado.
  • Pode levar até uma hora para que as tags workspace personalizadas sejam propagadas após qualquer alteração.
  • Não é possível atribuir mais de 20 tags a um recurso workspace.