Automatizar a atribuição de tags

info

Beta

Esse recurso está em Beta. Os administradores do workspace podem controlar o acesso a esse recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Esta página explica como criar e gerenciar automações de tags, que atribuem tags controladas a tabelas e volumes do Unity Catalog em escala. Para uma visão geral das tags controladas, consulte Tags controladas.

Uma automação codifica suas regras de negócio por condições que você define e, em seguida, atribui ou remove tags controladas nos ativos correspondentes. Após criar uma automação, o Databricks mantém as tags precisas à medida que seus dados e metadados mudam.

Você pode criar uma automação manualmente no Catalog Explorer ou usar o Genie para criar uma automação descrevendo sua regra em linguagem natural:

Os administradores automatizam a atribuição de tags para uma série de fluxos de trabalho de governança, incluindo:

• Certificando dados confiáveis que atendem aos seus critérios de prontidão.
• Descontinuação de dados desatualizados que não são mais mantidos ou consultados.
• Consolidação da sensibilidade de coluna para um nível de sensibilidade de tabela, como no exemplo acima.
• Sinalizando ativos que não possuem as tags obrigatórias e, em seguida, notificando seus proprietários.
• Limpando tags obsoletas que não se aplicam mais.

Como as automações usam tags controladas, cada tag que elas atribuem está em conformidade com os mesmos valores permitidos e permissões que regem a marcação manual.

Para detectar e marcar automaticamente dados confidenciais em colunas, use Classificação de dados em vez disso. Para comparar todos os recursos de tagging automática, consulte Tagging manual vs. automática.

Pré-requisitos

Antes de criar uma automação, certifique-se de ter o seguinte:

• USE CATALOG, USE SCHEMA e APPLY TAG no catálogo no escopo da automação. Eles são verificados no nível do catálogo, portanto, restringir uma automação a esquemas específicos não reduz os privilégios necessários.
• MANAGE no catálogo no escopo da automação.
• A permissão ASSIGN em cada tag controlada que a automação atribui ou remove.
• As tags controladas que você deseja atribuir já devem existir com valores permitidos definidos. Para criar tags controladas, consulte Criar e gerenciar tags controladas. Para obter mais informações sobre permissões de tags controladas, consulte Gerenciar permissões em tags controladas.

A tab Automations lista apenas as automações para tags nas quais você tem o privilégio ASSIGN. Os administradores de contas têm ASSIGN em todas as tags por default e podem ver todas as automações. Consulte Gerenciar permissões em tags controladas.

Habilitar automações de tag

As automações de tag são habilitadas por default na maioria dos workspaces. Se você não vir a tab Automations na página Governed Tags, um administrador do workspace poderá ativar a prévia:

1. Como administrador do workspace, clique no seu nome de usuário na barra superior do workspace.
2. No menu, selecione Previews .
3. Localize a pré-visualização Tag automations e use a opção para ativá-la.

Para mais informações sobre como gerenciar prévias, consulte Gerenciar prévias em nível de workspace.

nota

Os recursos de pré-visualização não são cobertos por certificações de compliance. Em Workspace com o perfil de segurança de compliance habilitado, a pré-visualização de Automações de tag pode não aparecer na página Pré-visualizações . Para tê-lo habilitado nos Workspace desejados, entre em contato com seu contato do Databricks. Para obter a lista de pré-visualizações que você pode ativar nesses workspaces, consulte Recursos de pré-visualização compatíveis.

Criar ou editar uma automação

O Databricks recomenda descrever a automação que o senhor deseja ao Genie em linguagem natural e deixar que ele crie a regra para o senhor. O Genie define o escopo, as condições e a ação, e o senhor pode revisar e ajustar tudo antes de salvar.

1. No Explorador de Catálogos, abra a página Tags governadas e clique na tab Automações.

   

2. Clique em Criar automação .

3. No campo de prompt, descreva a automação desejada ou comece a partir de uma sugestão do Genie.

4. Revise o que o Genie gerou e ajuste qualquer parte dele.

Você também pode preencher o formulário por conta própria:

1. Na seção Escopo , selecione um catálogo, opcionalmente restrinja-o a esquemas específicos e escolha se a automação tem como alvo tabelas ou volumes.
2. Na seção Condition , adicione as condições que um ativo deve corresponder, usando Match all ou Match any . Consulte Conditions reference.
3. Na seção Action , selecione Add tag ou Remove tag , escolha a key e o valor da tag governada e selecione Override existing value para substituir um valor que um ativo já possui. Consulte Notificar usuários.
4. Continue para o passo Programação e detalhes , então selecione Manual para executar a automação sob demanda ou Programação recorrente para executá-la automaticamente.
5. Na seção Details , insira um nome e uma descrição e, em seguida, clique em Dry run .

Salvar uma nova automação a cria e inicia uma execução de teste, que registra os ativos que a automação corresponderia sem atribuir nenhuma tag. Revise os ativos correspondentes e, se não forem o que você espera, ajuste as condições e clique em Execução de teste novamente. Quando estiver satisfeito, clique em Ativar automação .

Para editar uma automação existente, abra-a na tab Automations e clique em Editar . Você pode alterar suas condições, programação, nome e descrição, mas não seu escopo ou ação. Para alterar qualquer um deles, crie uma nova automação.

Exemplo: certificar tabelas que atendam aos seus critérios de prontidão

Para certificar tabelas que atendam ao seu padrão de qualidade, crie uma automação que atribua a tag de certificação a cada tabela que corresponda a:

1. Para Condição , selecione Corresponder a tudo e adicione critérios para que apenas tabelas prontas correspondam:

   • O proprietário é um dos principals responsáveis pelos dados de produção.
   • A tabela tem uma descrição.
   • A tabela teve mais de 100 queries de leitura nos últimos 30 dias.

2. Para Action , atribua a tag system.certification_status com o valor certified.

Exemplo: consolidar a sensibilidade da coluna para um nível de sensibilidade da tabela

Para manter a classificação em nível de tabela sincronizada com as colunas confidenciais encontradas pela Classificação de Dados, crie uma automação que marque uma tabela quando qualquer uma de suas colunas contiver uma tag de sensibilidade:

1. Para Condition , selecione Match any e adicione critérios de Column tag para que uma tabela corresponda se qualquer uma de suas colunas contiver class.us_driver_license, class.us_passport, class.us_ssn ou class.us_itin.
2. Para Action , atribua sua tag de nível de sensibilidade em nível de tabela com o valor restricted e selecione Override existing value para que as tabelas com um nível inferior sejam atualizadas.

Crie uma automação semelhante para cada nível que você usa, correspondendo às tags de classificação que o justificam.

Referência de condições

A tabela a seguir lista as condições que você pode adicionar na seção Condition . Condições que se aplicam apenas a tabelas, como Column tag e as condições de uso de query, não são oferecidas quando o escopo de uma automação tem como alvo volumes:

Condição	O que corresponde	Exemplos
Tag e Tag value	Tags controladas existentes no ativo. Selecione a partir das tags controladas em sua conta.	cost_center igual a finance. Para corresponder a uma família de chaves de tag, como cada tag class., use o operador starts with e insira class.
Tag de coluna	Tags controladas nas colunas do ativo. Aplica-se apenas a tabelas.	Qualquer coluna contém class.email_address ou class.us_ssn
Contagem de queries de leitura e contagem de queries de gravação	O número de queries contra o ativo nos últimos 30 dias. Aplica-se apenas a tabelas.	A contagem de leitura de query é igual a 0 para encontrar tabelas não utilizadas, ou é maior que 100 para encontrar as mais utilizadas
Query realizada pela última vez	O número de dias desde que o ativo foi consultado pela última vez. Aplica-se apenas a tabelas.	Última query realizada há mais de 90 dias
Data de criação e Última atualização	O número de dias desde que o ativo foi criado ou alterado pela última vez.	Última atualização há mais de 90 dias, ou nos últimos 30 dias
Proprietário	O proprietário do ativo, correspondido aos principals que você seleciona com is one of ou is not one of . A correspondência é feita no próprio proprietário, portanto, selecionar um grupo corresponde apenas aos ativos pertencentes a esse grupo, não aos ativos pertencentes aos seus membros.	O proprietário é um dos seus administradores da plataforma de dados
Descrição	Se o ativo possui uma descrição, usando exists ou does not exist .	A descrição não existe , para sinalizar tabelas não documentadas
Nome	Se o nome do ativo contém uma string, usando contains ou does not contain .	O nome contém _staging

Condição	O que corresponde	Exemplos
Tag e Tag value	Tags controladas existentes no ativo. Selecione a partir das tags controladas em sua conta.	cost_center igual a finance. Para corresponder a uma família de chaves de tag, como cada tag class., use o operador starts with e insira class.
Tag de coluna	Tags controladas nas colunas do ativo. Aplica-se apenas a tabelas.	Qualquer coluna contém class.email_address ou class.us_ssn
Contagem de queries de leitura e contagem de queries de gravação	O número de queries contra o ativo nos últimos 30 dias. Aplica-se apenas a tabelas.	A contagem de leitura de query é igual a 0 para encontrar tabelas não utilizadas, ou é maior que 100 para encontrar as mais utilizadas
Query realizada pela última vez	O número de dias desde que o ativo foi consultado pela última vez. Aplica-se apenas a tabelas.	Última query realizada há mais de 90 dias
Data de criação e Última atualização	O número de dias desde que o ativo foi criado ou alterado pela última vez.	Última atualização há mais de 90 dias, ou nos últimos 30 dias
Proprietário	O proprietário do ativo, correspondido aos principals que você seleciona com is one of ou is not one of . A correspondência é feita no próprio proprietário, portanto, selecionar um grupo corresponde apenas aos ativos pertencentes a esse grupo, não aos ativos pertencentes aos seus membros.	O proprietário é um dos seus administradores da plataforma de dados
Descrição	Se o ativo possui uma descrição, usando exists ou does not exist .	A descrição não existe , para sinalizar tabelas não documentadas
Nome	Se o nome do ativo contém uma string, usando contains ou does not contain .	O nome contém _staging

Notificar usuários

Para notificar usuários quando uma automação atualizar ativos, ative Notify users via email na seção Action e, em seguida, selecione quem notificar:

• Proprietários de ativos : notifique o proprietário de cada ativo correspondente.
• Usuários específicos : Notifique uma lista de usuários que você fornecer, independentemente de quem seja o proprietário dos ativos correspondentes. Esses destinatários recebem um resumo cobrindo todos os ativos correspondentes.

As notificações informam apenas sobre ativos que foram modificados durante uma execução, portanto, uma execução de teste não envia nenhuma.

Revisar histórico de execução

O histórico de execução na página de detalhes de uma automação cobre tanto simulações quanto execuções ao vivo. Para cada execução, você pode ver seu estado, quando ela Começou , quantos Ativos ela correspondeu e sua Duração . As simulações são marcadas para que você possa diferenciá-las das execuções que atribuíram tags. Clique em uma execução para ver os ativos que ela correspondeu.

Ativar ou desativar uma automação

O Status de uma automação é Análise pendente ou Ativado :

• Revisão pendente : A automação não atribui nem remove tags. Você pode realizar uma execução de teste quantas vezes quiser.
• Habilitado : A automação é executada em sua programação, atribuindo e removendo tags em ativos correspondentes.

Abra uma automação e clique em Enable automation para ativá-la, ou em Disable automation para retorná-la ao status Pending review . A desativação interrompe a programação da automação e impede execuções manuais, mas não interrompe uma execução que já esteja em andamento. Para executar uma automação habilitada imediatamente, clique em Executar .

Limitações

As automações de tags têm as seguintes limitações durante a versão Beta:

• Uma automação tem como alvo apenas tabelas ou apenas volumes. Para gerenciar tabelas e volumes, crie uma automação separada para cada um.
• Uma automação é limitada a um único catálogo. Ele não pode abranger vários catálogos ou um metastore inteiro.
• O escopo de uma automação abrange todos os tipos de tabela: MANAGED, EXTERNAL, VIEW, MATERIALIZED_VIEW, STREAMING_TABLE e FOREIGN. As automações não podem ser limitadas a tipos de tabela específicos.
• Os resultados da automação recorrente geralmente são disponibilizados dentro de 24 horas. Agendas personalizadas ou baseadas em eventos não estão disponíveis.
• O escopo e a ação não podem ser alterados após a criação de uma automação. Para alterar qualquer um deles, crie uma nova automação.
• Cada execução processa no máximo 500 ativos correspondentes.
• Uma automação pode atribuir ou remover no máximo 5 tags controladas. Cada tag controlada só pode ser atribuída ou removida uma vez por automação.

Solução de problemas

• A automação não corresponde a nenhum ativo. Verifique se o escopo inclui o catálogo e os esquemas que contêm seus ativos e se suas condições não são muito restritivas. Use uma execução de teste para visualizar as correspondências.
• Uma execução falhou parcialmente. Tags aplicadas a alguns ativos, mas não a outros, geralmente porque você não tem ASSIGN em uma tag controlada ou APPLY TAG em um ativo. Abra a execução para ver o resultado de cada ativo, corrija a permissão e execute a automação novamente.
• Uma execução está demorando muito. Escopos maiores levam mais tempo para serem concluídos. Se uma execução não tiver terminado após algumas horas, verifique o histórico de execuções para identificar uma falha.

Outros recursos

• Tags controladas
• Gerenciar permissões em tags controladas
• Marcar dados como certificados ou descontinuados