Use tags para atribuir e rastrear o uso
Este artigo explica como usar tags para atribuir o uso do compute a espaços de trabalho, equipes, projetos ou usuários específicos para apoiar o acompanhamento de custos e o orçamento.
Há dois tipos de tags:
- tags padrão: Aplicadas automaticamente por Databricks ao recurso implantado na nuvem. Eles fornecem metadados básicos como fornecedor, ID de clustering e criador.
- Tags personalizadas: Tags definidas pelo usuário que podem ser adicionadas às cargas de trabalho do compute recurso e do serverless. Isso permite o acompanhamento granular, a geração de relatórios e a elaboração de orçamentos.
Os dados das tags podem ser replicados globalmente. Não use nomes ou valores de tags que possam comprometer a segurança de seu recurso. Por exemplo, não use nomes de tags que contenham informações pessoais ou confidenciais.
tags padrão
Databricks adiciona automaticamente as tags default ao compute recurso implantado em sua nuvem account. Essas tags atribuem o uso a Databricks e fornecem informações básicas sobre o recurso, como seu nome, ID e criador.
As tags padrão se propagam automaticamente para AWS EC2 e AWS instâncias do EBS para análise de custos.
chave e valores da tag padrão
Databricks adiciona as seguintes tags default a compute recurso:
Etiqueta key | Valor |
|---|---|
| Valor constante: |
| Databricks ID interna do clustering |
| Nome do clustering |
| Nome de usuário (endereçoemail ) do usuário que criou o clustering |
| Job name (só se propaga no Job compute) |
| Job ID (só se propaga no Job compute) |
O cálculo usado pelo lakehouse monitoramento inclui essas tags adicionais:
Etiqueta key | Valor |
|---|---|
| verdade |
| ID da tabela monitorada |
| ID do site workspace onde o monitor foi criado |
| ID do metastore em que a tabela monitorada existe |
Databricks adiciona as seguintes tags default ao pool e o recurso compute criado pelo pool.
Etiqueta key | Valor |
|---|---|
| Valor constante: |
| ID interno do Databricks do usuário que criou o pool |
| ID interna do pool do Databricks |
Etiquetas personalizadas
As tags personalizadas permitem que o senhor atribua o uso do compute a equipes, projetos ou centros de custo específicos com mais granularidade do que as tags do default. Essas tags são aplicadas por usuários ou administradores e se propagam tanto para o uso do seu account logs quanto para o recurso de nuvem aplicável. Essas tags também são usadas para criar e monitorar orçamentos em seu site Databricks account.
Recurso suportado para tags personalizadas
O senhor pode adicionar tags personalizadas para os seguintes objetos gerenciar por Databricks:
Objeto | Interface de marcação (UI) | Interface de marcação (API) |
|---|---|---|
Workspace | N/A | |
Pool | UI do pool no site Databricks workspace | |
Para todos os fins e para o trabalho compute | computar a UI no site Databricks workspace | |
Armazém SQL | SQL warehouse UI no site Databricks workspace |
As tags personalizadas aparecem em letras minúsculas no GCE logs. Os caracteres são removidos se não forem letras, números, sublinhados ou traços. Por exemplo, My Key se torna mykey e My.Val se torna myval.
Não atribua uma tag personalizada com o endereço key Name a um clustering. Cada clustering tem uma tag Name cujo valor é definido por Databricks. Se o senhor alterar o valor associado a key Name, o clustering não poderá mais ser rastreado por Databricks. Como consequência, o clustering pode não ser encerrado depois de se tornar parado e continuará a incorrer em custos de uso.
Tag serverless compute cargas de trabalho
Visualização
Esse recurso está em Public Preview.
Para atribuir o uso do serverless compute a usuários, grupos ou projetos, o senhor pode usar as políticas de orçamento do serverless. Quando um usuário recebe uma política de orçamento do serverless, seu uso do serverless é automaticamente marcado com as tags personalizadas da política. As políticas de orçamento sem servidor podem ser aplicadas a serverless Notebook, Job, pipeline e endpoint de modelo de serviço.
O compute uso do serverless é registrado na account tabela do sistema de uso faturável do seu. Os DBU relatórios de serverless uso do legado não incluem as serverless tags de política orçamentária usage ou.
Consulte Uso de atributos com as políticas de orçamento do serverless.
Propagação de tags
As tags são propagadas para as instâncias do AWS EC2 de forma diferente, dependendo se o clustering foi criado ou não a partir de um pool.
Se um clustering for criado a partir de um pool, suas instâncias EC2 herdarão apenas as tags personalizadas e default workspace e pool, e não a tag do cluster. Portanto, se o senhor quiser criar um cluster a partir de um pool, certifique-se de atribuir todas as tags de cluster personalizadas de que precisa ao workspace ou pool.
As tags clustering e pool se propagam para os relatórios de usoDBU, mesmo que o clustering tenha sido criado a partir de um pool.
Se houver um conflito de nome de tag, as tags Databricks default têm precedência sobre as tags personalizadas e as tags pool têm precedência sobre a Cluster Tag.
Aplicação de tags
Para impor o uso de tags personalizadas específicas, o senhor pode usar as políticas do site compute. Consulte Aplicação de tags personalizadas. Para aplicar tags personalizadas nas cargas de trabalho serverless compute , use as políticas de orçamentoserverless.
Para garantir que determinadas tags sejam sempre preenchidas quando o recurso compute for criado em um workspace, é possível aplicar uma política IAM específica ao workspace principal IAM role (aquele criado durante a configuração do workspace; entre em contato com o administrador do AWS se precisar de acesso). A IAM política do site deve incluir declarações explícitas de negação para chaves de tag obrigatórias e valores opcionais. A criação do clustering falhará se as tags necessárias com um dos valores permitidos não forem fornecidas.
Por exemplo, se o senhor quiser impor as tags Department e Project, com apenas valores especificados permitidos para a primeira e um valor de forma livre e não vazio para a segunda, poderá aplicar uma política de IAM como esta:
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "MandateLaunchWithTag1",
"Effect": "Deny",
"Action": ["ec2:RunInstances", "ec2:CreateTags"],
"Resource": "arn:aws:ec2:region:accountId:instance/*",
"Condition": {
"StringNotEqualsIgnoreCase": {
"aws:RequestTag/Department": ["Deptt1", "Deptt2", "Deptt3"]
}
}
},
{
"Sid": "MandateLaunchWithTag2",
"Effect": "Deny",
"Action": ["ec2:RunInstances", "ec2:CreateTags"],
"Resource": "arn:aws:ec2:region:accountId:instance/*",
"Condition": {
"StringNotLike": {
"aws:RequestTag/Project": "?*"
}
}
}
]
}
Ambas as ações ec2:RunInstances e ec2:CreateTags são necessárias para cada tag para uma cobertura eficaz dos cenários em que há agrupamentos que têm apenas instâncias sob demanda, apenas instâncias pontuais ou ambas.
A Databricks recomenda que o senhor adicione uma declaração de política separada para cada tag. A política geral pode se tornar longa, mas é mais fácil de depurar. Consulte a Referência de operadores de condição de política de IAM para obter uma lista de operadores que podem ser usados em uma política.
Os erros de criação de clustering devido a uma política IAM mostram um encoded error message, começando com:
Cloud Provider Launch Failure: A cloud provider error was encountered while setting up the cluster.
A mensagem é codificada porque os detalhes do status da autorização podem constituir informações privilegiadas que o usuário que solicitou a ação não deve ver. Consulte DecodeAuthorizationMessage API (ou CLI) para obter informações sobre como decodificar essas mensagens.
Limitações
- A chave e os valores da tag só podem conter letras, espaços, números ou os caracteres
+,-,=,.,_,:,/,@. As tags que contêm outros caracteres são inválidas. - Se o senhor alterar os nomes ou valores das chaves de tag, essas alterações serão aplicadas somente após a reinicialização do clustering ou a expansão do site pool.
- Se as tags personalizadas do clustering entrarem em conflito com as tags personalizadas do site pool, o clustering não poderá ser criado.
- Pode levar até uma hora para que as tags workspace personalizadas sejam propagadas após qualquer alteração.
- Não é possível atribuir mais de 20 tags a um recurso workspace.