Amazon
Web Services
Microsoft Azure
Google Cloud PlatformMonitorar o uso usando tags
Para monitorar o custo e atribuir com precisão o uso do Databricks às unidades de negócios e equipes da sua organização (para estornos, por exemplo), é possível adicionar tags personalizadas ao espaço de trabalho e ao recurso compute. A Databricks recomenda o uso de tabelas de sistema (Public Preview) para view dados de uso. Consulte a referência da tabela do sistema de uso faturável.
Essas tags se propagam tanto para o site logs quanto para as instâncias do AWS EC2 e do AWS EBS para análise de custos.
tags objetos e recursos
Você pode adicionar tags personalizadas para os seguintes objetos gerenciados pelo Databricks:
Objeto |
interface tags (IU) |
interface tags (API) |
|---|---|---|
Workspace |
N/A |
|
pool |
UI do pool no Databricks workspace |
|
Para todos os fins e Job compute |
compute UI no Databricks workspace |
|
Armazém SQL |
SQL warehouse UI no Databricks workspace |
Aviso
Não atribua tags personalizadas com a key Name a clusters. Todos clusters possuem tags Name cujo valor é definido pelo Databricks. Se você alterar o valor associado à key Name, os clusters não poderão mais ser rastreados pelo Databricks. Como consequência, os clusters podem não ser encerrados após se tornarem parado e continuarão a incorrer em custos de uso.
Tags padrão
A Databricks adiciona as seguintes tags default ao site compute para todos os fins:
etiquetas key |
Valor |
|---|---|
|
Valor constante: |
|
Databricks ID interno dos clusters |
|
Nome dos clusters |
|
Nome de usuário (endereço email ) do usuário que criou os clusters |
Em clusters Job , o Databricks também aplica as seguintes tags default :
etiquetas key |
Valor |
|---|---|
|
Nome Job |
|
ID Job |
A Databricks adiciona as seguintes tags default a todos os pools:
etiquetas key |
Valor |
|---|---|
|
Valor constante: |
|
ID interno do Databricks do usuário que criou o pool |
|
Databricks ID interno do pool |
No site compute usado pela Lakehouse Monitoring, a Databricks também aplica as seguintes tags:
etiquetas key |
Valor |
|---|---|
|
verdadeiro |
|
ID da tabela monitorada |
|
ID do workspace onde o monitor foi criado |
|
ID do metastore onde existe a tabela monitorada |
As tags são propagadas para as instâncias do AWS EC2 de forma diferente, dependendo do fato de os clusters terem sido criados ou não a partir de um pool.
Se um clusters for criado a partir de um pool, suas instâncias do EC2 herdarão apenas as tags personalizadas e default workspace e do pool, e não a Cluster Tag. Portanto, se você quiser criar clusters a partir de um pool, certifique-se de atribuir todas as Cluster Tag personalizadas necessárias ao workspace ou pool.
Se um clusters não for criado a partir de um pool, suas tags serão propagadas conforme o esperado para as instâncias do EC2.
clusters e tags de pool se propagam para relatórios de uso de DBU, independentemente de os clusters terem sido criados a partir de um pool.
Se houver um conflito de nomes tags , tags sdefault do Databricks terão precedência sobre tagss personalizadas e tagss pool terão precedência sobre Cluster Tag.
Limitações
key e os valores da tag podem conter apenas caracteres do conjunto ISO 8859-1 (latin1). tags contendo outros caracteres são ignoradas.
Se você alterar nomes ou valores key tags , essas alterações se aplicarão somente após a reinicialização clusters ou a expansão pool .
Se as tagspersonalizadas dos clusters entrarem em conflito com tags personalizadas de um pool, os clusters não poderão ser criados.
Pode levar até uma hora para que as tags personalizadas workspace sejam propagadas após qualquer alteração.
Não mais de 20 tags podem ser atribuídas a um recurso workspace .
Aplicação de tags com políticas
O senhor pode aplicar tags em clusters usando as políticas do site compute. Para obter mais informações, consulte Aplicação de tags personalizadas.
Aplicação de tags com IAM role
Para garantir que determinadas tags sejam sempre preenchidas quando o recurso compute for criado, é possível aplicar uma política de IAM específica ao accountprincipal IAM role (aquele criado durante a account configuração do ; entre em contato com o administrador da AWS se precisar de acesso). A política de IAM deve incluir declarações explícitas de negação para chaves de tags obrigatórias e valores opcionais. A criação de clusters falhará se as tags necessárias com um dos valores permitidos não forem fornecidas.
Por exemplo, se você deseja aplicar as tags Department e Project , com apenas valores especificados permitidos para o primeiro e um valor não vazio de forma livre para o último, você pode aplicar uma política IAM como esta:
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "MandateLaunchWithTag1",
"Effect": "Deny",
"Action": [
"ec2:RunInstances",
"ec2:CreateTags"
],
"Resource": "arn:aws:ec2:region:accountId:instance/*",
"Condition": {
"StringNotEqualsIgnoreCase": {
"aws:RequestTag/Department": [
"Deptt1", "Deptt2", "Deptt3"
]
}
}
},
{
"Sid": "MandateLaunchWithTag2",
"Effect": "Deny",
"Action": [
"ec2:RunInstances",
"ec2:CreateTags"
],
"Resource": "arn:aws:ec2:region:accountId:instance/*",
"Condition": {
"StringNotLike": {
"aws:RequestTag/Project": "?*"
}
}
}
]
}
As ações ec2:RunInstances e ec2:CreateTags são necessárias para cada tags para cobertura efetiva de cenários nos quais há clusters que possuem apenas instâncias sob demanda, apenas instâncias pontuais ou ambas.
Dica
Databricks recomenda que você adicione uma declaração de política separada para cada tags. A política geral pode se tornar longa, mas é mais fácil de depurar. Consulte a Referência de operadores de condição de política do IAM para obter uma lista de operadores que podem ser usados em uma política.
erros de criação clusters devido a uma política IAM mostram um encoded error message, começando com:
Cloud Provider Launch Failure: A cloud provider error was encountered while setting up the cluster.
A mensagem é codificada porque os detalhes do status de autorização podem constituir informações privilegiadas que o usuário que solicitou a ação não deve ver. Consulte DecodeAuthorizationMessage API (ou CLI) para obter informações sobre como decodificar essas mensagens.
