Pular para o conteúdo principal

Automatizar a atribuição de tags governadas

info

Beta

Esse recurso está em Beta.

As automações de tags atribuem tags governadas a tabelas, colunas e volumes do Unity Catalog em escala. Esta página explica como criá-los e gerenciá-los. Para uma visão geral das tags governadas, consulte Tags governadas.

Uma automação codifica suas regras de negócio por condições que você define e, em seguida, atribui ou remove tags governadas nos ativos correspondentes. Uma automação codifica suas regras de negócios por condições que você define e, em seguida, sua execução atribui ou remove tags governadas nos ativos correspondentes.

Você pode criar uma automação manualmente no Catalog Explorer ou usar o Genie para criar uma automação descrevendo sua regra em linguagem natural:

O passo Definition do assistente de criação de automação, com um prompt preenchido descrevendo uma regra que marca tabelas como restritas quando suas colunas contêm tags de classificação confidenciais, em uma programação diária.

Os administradores automatizam a atribuição de tags para uma série de fluxos de trabalho de governança, incluindo:

  • Certificando dados confiáveis que atendem aos seus critérios de prontidão.
  • Descontinuação de dados desatualizados que não são mais mantidos ou consultados.
  • Consolidação da sensibilidade de coluna para um nível de sensibilidade de tabela, como no exemplo acima.
  • Sinalizando ativos que não possuem as tags obrigatórias e, em seguida, notificando seus proprietários.
  • Limpando tags obsoletas que não se aplicam mais.

Como as automações usam tags controladas, cada tag que elas atribuem está em conformidade com os mesmos valores permitidos e permissões que regem a marcação manual.

Para detectar e marcar automaticamente dados confidenciais em colunas, use Classificação de dados em vez disso. Para comparar todos os recursos de tagging automática, consulte Tagging manual vs. automática.

Pré-requisitos​

Antes de criar uma automação, certifique-se de ter o seguinte:

  • USE CATALOG, USE SCHEMA e APPLY TAG no catálogo no escopo da automação. Eles são verificados no nível do catálogo, portanto, restringir uma automação a esquemas específicos não reduz os privilégios necessários.
  • MANAGE no catálogo no escopo da automação.
  • A permissão ASSIGN em cada tag controlada que a automação atribui ou remove.
  • As tags controladas que você deseja atribuir já devem existir com valores permitidos definidos. Para criar tags controladas, consulte Criar e gerenciar tags controladas. Para obter mais informações sobre permissões de tags controladas, consulte Gerenciar permissões em tags controladas.

A tab Automations lista apenas as automações para tags nas quais você tem o privilégio ASSIGN. Os administradores de contas têm ASSIGN em todas as tags por default e podem ver todas as automações. Consulte Gerenciar permissões em tags controladas.

Habilitar automações de tag​

As automações de tag são habilitadas por default na maioria dos workspaces. Se você não vir a tab Automations na página Governed Tags, um administrador do workspace poderá ativar a prévia:

  1. Como administrador do workspace, clique no seu nome de usuário na barra superior do workspace.
  2. No menu, selecione Previews .
  3. Localize a pré-visualização Tag automations e use a opção Alterne o controle na posição Ligado. para ativá-la.

Para mais informações sobre como gerenciar prévias, consulte Gerenciar prévias em nível de workspace.

nota

Preview recursos are not covered by compliance certifications. In workspaces with the compliance security profile enabled, the Tag automations preview might not appear on the Previews page. For the previews you can enable in these Workspaces, see the Regional support for recursos table on the applicable compliance standard page, listed in Compliance security profile.

Criar ou editar uma automação​

O Databricks recomenda descrever a automação que o senhor deseja ao Genie em linguagem natural e deixar que ele crie a regra para o senhor. O Genie define o escopo, as condições e a ação, e o senhor pode revisar e ajustar tudo antes de salvar.

  1. No Explorador de Catálogos, abra a página Tags governadas e clique na tab Automações.

    A tab Automations da página Governed Tags, listando automações com sua última execução, ativos direcionados, criador, trigger, descrição e status.

  2. Clique em Criar automação .

  3. (Opcional) Escolha um padrão.

  4. No campo de prompt, descreva a automação desejada ou comece a partir de uma sugestão do Genie.

  5. Revise o que o Genie gerou e ajuste qualquer parte dele.

Você também pode preencher o formulário por conta própria:

  1. Na seção Escopo , selecione um catálogo, opcionalmente refine-o para esquemas específicos e escolha se a automação visa tabelas, colunas ou volumes.

    Se você não selecionar schemas específicos, a automação cobre todos os schemas no catálogo, incluindo schemas criados posteriormente, mas não information_schema. Se você selecionar schemas individuais, a automação cobre apenas esses schemas.

  2. Na seção Condition , adicione as condições que um ativo deve corresponder, usando Match all ou Match any . Consulte Conditions reference.

  3. Na seção Action , selecione Add tag ou Remove tag , escolha a key e o valor da tag governada e selecione Override existing value para substituir um valor que um ativo já possui. Consulte Notificar usuários.

  4. Continue para o passo Programação e detalhes , então selecione Manual para executar a automação sob demanda ou Programação recorrente para executá-la automaticamente.

  5. Na seção Details , insira um nome e uma descrição e, em seguida, clique em Dry run .

Salvar uma nova automação a cria e inicia uma execução de teste, que registra os ativos que a automação corresponderia sem atribuir nenhuma tag. Revise os ativos correspondentes e, se não forem o que você espera, ajuste as condições e clique em Execução de teste novamente. Quando estiver satisfeito, clique em Ativar automação .

Para editar uma automação existente, abra-a na tab Automations e clique em Editar . Você pode alterar suas condições, programação, nome e descrição, mas não seu escopo ou ação. Para alterar qualquer um deles, crie uma nova automação.

Exemplo: certificar tabelas que atendam aos seus critérios de prontidão​

Para certificar tabelas que atendam ao seu padrão de qualidade, crie uma automação que atribua a tag de certificação a cada tabela que corresponda a:

  1. Para Condição , selecione Corresponder a tudo e adicione critérios para que apenas tabelas prontas correspondam:

    • O proprietário é um dos principals responsáveis pelos dados de produção.
    • A tabela tem uma descrição.
    • A tabela teve mais de 100 queries de leitura nos últimos 30 dias.
  2. Para Action , atribua a tag system.certification_status com o valor certified.

Exemplo: consolidar a sensibilidade da coluna para um nível de sensibilidade da tabela​

Para manter a classificação em nível de tabela sincronizada com as colunas confidenciais encontradas pela Classificação de Dados, crie uma automação que marque uma tabela quando qualquer uma de suas colunas contiver uma tag de sensibilidade:

  1. Para Condition , selecione Match any e adicione critérios de Column tag para que uma tabela corresponda se qualquer uma de suas colunas contiver class.us_driver_license, class.us_passport, class.us_ssn ou class.us_itin.
  2. Para Action , atribua sua tag de nível de sensibilidade em nível de tabela com o valor restricted e selecione Override existing value para que as tabelas com um nível inferior sejam atualizadas.

Crie uma automação semelhante para cada nível que você usa, correspondendo às tags de classificação que o justificam.

Referência de condições​

A tabela a seguir lista as condições que você pode adicionar na seção Condição . A seção oferece apenas as condições que se aplicam ao tipo de ativo no escopo da automação:

  • Tabelas : Todas as condições a seguir.
  • Colunas : Tag , Valor da tag , Descrição , Nome , Tag upstream e Valor da tag upstream . Tag , Valor da tag , Descrição e Nome avaliam a própria coluna.
  • Volumes : Tag , Valor da tag , Data de criação , Última atualização , Proprietário , Descrição e Nome .

Condição

O que corresponde

Exemplos

Tag e Tag value

Tags controladas existentes no ativo. Selecione a partir das tags controladas em sua conta.

cost_center igual a finance. Para corresponder a uma família de chaves de tag, como cada tag class., use o operador starts with e insira class.

Tag da coluna e valor da tag da coluna

Tags governadas nas colunas da tabela. Tag de coluna corresponde a uma key de tag, e Valor de tag de coluna corresponde a uma key de tag com um valor específico. Uma tabela corresponde quando qualquer uma das suas colunas possui a tag. Aplica-se apenas a tabelas.

Qualquer coluna contém class.email_address ou class.us_ssn, ou qualquer coluna tem sensitivity igual a restricted

Tag upstream e Valor da tag upstream

Tags governadas nas fontes upstream diretas do ativo em linhagem: as tabelas das quais uma tabela é derivada ou as colunas das quais uma coluna é derivada. As fontes podem estar em qualquer catálogo ou esquema no metastore, mas a automação tags apenas os ativos em seu escopo. Aplica-se a tabelas e colunas.

Uma tabela upstream direta contém pii, ou uma coluna upstream direta tem sensitivity igual a restricted

Contagem de queries de leitura e contagem de queries de gravação

O número de queries contra o ativo nos últimos 30 dias. Aplica-se apenas a tabelas. A contagem de queries de leitura inclui cada leitura da tabela, não apenas as queries do usuário.

A contagem de leituras de query é igual a 0 para encontrar tabelas sem leituras registradas, ou é maior que 100 para encontrar tabelas muito usadas

Query realizada pela última vez

O número de dias desde que o ativo foi lido ou escrito pela última vez. Cada leitura da tabela é contada, não apenas as queries do usuário. Aplica-se apenas a tabelas.

Última query realizada há mais de 90 dias

Data de criação e Última atualização

O número de dias desde que o ativo foi criado ou alterado pela última vez.

Última atualização há mais de 90 dias, ou nos últimos 30 dias

Proprietário

O proprietário do ativo, correspondido aos principals que você seleciona com is one of ou is not one of . A correspondência é feita no próprio proprietário, portanto, selecionar um grupo corresponde apenas aos ativos pertencentes a esse grupo, não aos ativos pertencentes aos seus membros.

O proprietário é um dos seus administradores da plataforma de dados

Descrição

Se o ativo possui uma descrição, usando exists ou does not exist .

A descrição não existe , para sinalizar tabelas não documentadas

Descrição da coluna

Se as colunas de nível superior da tabela têm descrições, usando está presente em todas as colunas , está faltando em 1+ colunas ou está faltando em todas as colunas . Uma descrição vazia conta como faltando, e uma tabela sem colunas não corresponde. Aplica-se apenas a tabelas.

A descrição da coluna está faltando em 1+ colunas , para sinalizar tabelas com colunas não documentadas

Nome

Se o nome do ativo contém uma string, usando contains ou does not contain .

O nome contém _staging

Status geral

Se todas as verificações de detecção de anomalias foram aprovadas na digitalização mais recente da tabela, usando está íntegro ou não está íntegro . Aplica-se apenas a tabelas.

O status geral é íntegro , para exigir tabelas que passem em todas as verificações

Atualização

Se a tabela foi atualizada tão recentemente quanto a detecção de anomalias espera, usando está saudável ou não está saudável . Aplica-se apenas a tabelas.

A atualização não é saudável , para sinalizar tabelas obsoletas

Completude

Se a tabela recebeu o número de linhas que a detecção de anomalias espera, usando está saudável ou não está saudável . Aplica-se apenas a tabelas.

Conclusão não está íntegra , para sinalizar tabelas que receberam menos linhas do que o esperado

Condição

O que corresponde

Exemplos

Tag e Tag value

Tags controladas existentes no ativo. Selecione a partir das tags controladas em sua conta.

cost_center igual a finance. Para corresponder a uma família de chaves de tag, como cada tag class., use o operador starts with e insira class.

Tag da coluna e valor da tag da coluna

Tags governadas nas colunas da tabela. Tag de coluna corresponde a uma key de tag, e Valor de tag de coluna corresponde a uma key de tag com um valor específico. Uma tabela corresponde quando qualquer uma das suas colunas possui a tag. Aplica-se apenas a tabelas.

Qualquer coluna contém class.email_address ou class.us_ssn, ou qualquer coluna tem sensitivity igual a restricted

Tag upstream e Valor da tag upstream

Tags governadas nas fontes upstream diretas do ativo em linhagem: as tabelas das quais uma tabela é derivada ou as colunas das quais uma coluna é derivada. As fontes podem estar em qualquer catálogo ou esquema no metastore, mas a automação tags apenas os ativos em seu escopo. Aplica-se a tabelas e colunas.

Uma tabela upstream direta contém pii, ou uma coluna upstream direta tem sensitivity igual a restricted

Contagem de queries de leitura e contagem de queries de gravação

O número de queries contra o ativo nos últimos 30 dias. Aplica-se apenas a tabelas. A contagem de queries de leitura inclui cada leitura da tabela, não apenas as queries do usuário.

A contagem de leituras de query é igual a 0 para encontrar tabelas sem leituras registradas, ou é maior que 100 para encontrar tabelas muito usadas

Query realizada pela última vez

O número de dias desde que o ativo foi lido ou escrito pela última vez. Cada leitura da tabela é contada, não apenas as queries do usuário. Aplica-se apenas a tabelas.

Última query realizada há mais de 90 dias

Data de criação e Última atualização

O número de dias desde que o ativo foi criado ou alterado pela última vez.

Última atualização há mais de 90 dias, ou nos últimos 30 dias

Proprietário

O proprietário do ativo, correspondido aos principals que você seleciona com is one of ou is not one of . A correspondência é feita no próprio proprietário, portanto, selecionar um grupo corresponde apenas aos ativos pertencentes a esse grupo, não aos ativos pertencentes aos seus membros.

O proprietário é um dos seus administradores da plataforma de dados

Descrição

Se o ativo possui uma descrição, usando exists ou does not exist .

A descrição não existe , para sinalizar tabelas não documentadas

Descrição da coluna

Se as colunas de nível superior da tabela têm descrições, usando está presente em todas as colunas , está faltando em 1+ colunas ou está faltando em todas as colunas . Uma descrição vazia conta como faltando, e uma tabela sem colunas não corresponde. Aplica-se apenas a tabelas.

A descrição da coluna está faltando em 1+ colunas , para sinalizar tabelas com colunas não documentadas

Nome

Se o nome do ativo contém uma string, usando contains ou does not contain .

O nome contém _staging

Status geral

Se todas as verificações de detecção de anomalias foram aprovadas na digitalização mais recente da tabela, usando está íntegro ou não está íntegro . Aplica-se apenas a tabelas.

O status geral é íntegro , para exigir tabelas que passem em todas as verificações

Atualização

Se a tabela foi atualizada tão recentemente quanto a detecção de anomalias espera, usando está saudável ou não está saudável . Aplica-se apenas a tabelas.

A atualização não é saudável , para sinalizar tabelas obsoletas

Completude

Se a tabela recebeu o número de linhas que a detecção de anomalias espera, usando está saudável ou não está saudável . Aplica-se apenas a tabelas.

Conclusão não está íntegra , para sinalizar tabelas que receberam menos linhas do que o esperado

nota

Contagem de query de leitura e Última query contam cada leitura da tabela, incluindo:

As tabelas sem resultados de detecção de anomalias, como tabelas em esquemas onde a detecção de anomalias não está habilitada, não correspondem a Status geral , Atualidade ou Completude . A execução pula essas tabelas e indica os destinos pulados na história de execução. Para usar essas condições em uma tabela, habilite a detecção de anomalias em seu esquema.

Notificar usuários​

Para notificar usuários quando uma automação atualizar ativos, ative Notify users via email na seção Action e, em seguida, selecione quem notificar:

  • Proprietários de ativos : notifique o proprietário de cada ativo correspondente.
  • Usuários específicos : Notifique uma lista de usuários que você fornecer, independentemente de quem seja o proprietário dos ativos correspondentes. Esses destinatários recebem um resumo cobrindo todos os ativos correspondentes.

As notificações informam apenas sobre ativos que foram modificados durante uma execução, portanto, uma execução de teste não envia nenhuma.

Revisar histórico de execução​

O histórico de execução na página de detalhes de uma automação cobre tanto simulações quanto execuções ao vivo. Para cada execução, você pode ver seu estado, quando ela Começou , quantos Ativos ela correspondeu e sua Duração . As simulações são marcadas para que você possa diferenciá-las das execuções que atribuíram tags. Clique em uma execução para ver os ativos que ela correspondeu.

Ativar ou desativar uma automação​

O Status de uma automação é Análise pendente ou Ativado :

  • Revisão pendente : A automação não atribui nem remove tags. Você pode realizar uma execução de teste quantas vezes quiser.
  • Habilitado : A automação é executada em sua programação, atribuindo e removendo tags em ativos correspondentes.

Abra uma automação e clique em Enable automation para ativá-la, ou em Disable automation para retorná-la ao status Pending review . A desativação interrompe a programação da automação e impede execuções manuais, mas não interrompe uma execução que já esteja em andamento. Para executar uma automação habilitada imediatamente, clique em Executar .

Limitações​

As automações de tag têm as seguintes limitações:

  • Uma automação tem como alvo apenas um tipo de ativo: tabelas, colunas ou volumes.
  • Uma automação é limitada a um único catálogo. Ele não pode abranger vários catálogos ou um metastore inteiro.
  • O escopo de uma automação abrange todos os tipos de tabela: MANAGED, EXTERNAL, VIEW, MATERIALIZED_VIEW, STREAMING_TABLE e FOREIGN. As automações não podem ser limitadas a tipos de tabela específicos.
  • Os resultados da automação recorrente geralmente são disponibilizados dentro de 24 horas. Agendas personalizadas ou baseadas em eventos não estão disponíveis.
  • O escopo e a ação não podem ser alterados após a criação de uma automação. Para alterar qualquer um deles, crie uma nova automação.
  • Cada execução processa um máximo de 500 destinos correspondentes.
  • Uma automação pode atribuir ou remover um máximo de 5 tags governadas. Cada tag governada pode ser atribuída ou removida apenas uma vez por automação.

Solução de problemas​

  • A automação não corresponde a nenhum ativo : verifique se o escopo inclui o catálogo e os esquemas que contêm seus ativos e se suas condições não são muito restritivas. Use uma execução de teste para visualizar as correspondências. Status geral , Frescor e Integridade correspondem apenas a tabelas que têm resultados de detecção de anomalias, e Tag upstream e Valor de tag upstream correspondem apenas a ativos que têm linhagem registrada.
  • Uma execução falhou parcialmente : tags aplicadas a alguns ativos, mas não a outros, geralmente porque você não possui ASSIGN em uma tag governada ou APPLY TAG em um ativo. Abra a execução para ver o resultado de cada ativo, corrija a permissão e execute a automação novamente.
  • Uma execução demora muito tempo : Escopos maiores demoram mais tempo para serem concluídos. Se uma execução não terminou após algumas horas, verifique a história de execução quanto a uma falha.

Outros recursos​