Pular para o conteúdo principal
Última atualização em

Guia de configuração do Unity Catalog

Esta página aborda a configuração inicial do Unity Catalog para administradores de workspace em um novo workspace do Databricks, incluindo:

  • Confirmando que seu workspace está habilitado para o Unity Catalog
  • Gerenciamento de acesso e identidades de workspace
  • Criação de recursos compute compatíveis com o Unity Catalog
  • Criação de um catálogo e esquema para seus dados
  • Conceder aos usuários os privilégios de que necessitam

Antes de começar​

Antes de começar, familiarize-se com os seguintes conceitos do Unity Catalog:

  • Metastore : O contêiner de nível superior do Unity Catalog, delimitado a uma única região de nuvem. Ele contém todos os objetos protegíveis: catálogos, credenciais de armazenamento, locais externos e muito mais. Consulte Metastore.
  • Catálogo: o objeto contêiner de dados de nível superior dentro de um metastore. Catálogos contêm esquemas, que, por sua vez, contêm tabelas, visualizações, volumes e funções. Veja o Catálogo.
  • Funções de administrador: O Unity Catalog tem três funções principais de administrador: administrador de account, administrador de workspace e administrador de metastore, cada uma com um escopo e responsabilidades diferentes. Consulte Privilégios de administrador no Unity Catalog.

Você também precisa do seguinte:

Passo 1: Confirmar que seu workspace está habilitado para o Unity Catalog​

Use um dos seguintes métodos para confirmar que seu workspace está anexado a um metastore do Unity Catalog.

Este método requer privilégios de administrador de account.

  1. Como administrador de conta do Databricks, faça login no console da conta.
  2. Clique Ícone do workspace. Espaços de trabalho .
  3. Encontre seu workspace e verifique a coluna Metastore . Se um nome de metastore estiver presente, seu workspace estará habilitado para o Unity Catalog.

Se seu workspace não estiver habilitado para o Unity Catalog, consulte Atualizar um workspace do Databricks para o Unity Catalog.

O passo 2: Gerenciar acesso e identidades do workspace​

Os administradores do workspace podem adicionar usuários e grupos, atribuir funções administrativas e gerenciar entidades de serviço.

Adicionar usuários​

Adicionar usuários individuais que precisam de acesso a este workspace. Para obter instruções, consulte Gerenciar usuários.

Organizar usuários em grupos​

A Databricks recomenda gerenciar o acesso por meio de grupos em vez de usuários individuais. A concessão de privilégios a um grupo os aplica a todos os membros, o que reduz a sobrecarga administrativa à medida que sua equipe cresce.

  • Se sua organização já possui grupos em um provedor de identidade (IdP) : Sincronize-os com a Databricks usando o gerenciamento automático de identidade ou o provisionamento SCIM para que a associação a grupos permaneça em sincronia automaticamente. Consulte gestão automática de identidades.
  • Se ainda não tiver grupos : Como administrador do workspace, crie grupos no nível da account navegando até Configurações > Identidade e acesso > Gerenciar ao lado de Grupos . Consulte Gerenciar grupos.

Atribuição de funções administrativas​

Administradores do workspace podem executar a maioria das tarefas administrativas diárias: adicionar e remover usuários, gerenciar o compute, configurar as configurações do workspace e conceder acesso aos dados. Esta função é indicada para membros de uma plataforma de dados central ou da equipe de IT que são responsáveis por manter o workspace. É importante ser seletivo quanto a quem receberá esta função. Os administradores do workspace têm acesso amplo a recursos e configurações do workspace.

Geralmente, a função de administrador do workspace é a única função de administrador que precisa ser atribuída. Opcionalmente, você pode atribuir administradores de metastore para casos de uso especiais. Por exemplo, poderá atribuir esta função a uma equipe dedicada de governança de dados ou a um pequeno grupo de engenheiros de plataforma sênior, se for necessário:

  • Delegar a criação do catálogo para administradores que não são do workspace.
  • Gerenciar a lista de permissões de init script e JAR.
  • Receba dados compartilhados por meio de Delta Sharing.
  • Transferir propriedade de objetos em caso de saída de um membro da equipe.

Para obter instruções sobre como atribuir essas funções, consulte Privilégios de administrador no Unity Catalog.

Etapa 3: Criar o compute compatível com o Unity Catalog​

Para executar cargas de trabalho do Unity Catalog, recursos de compute devem atender aos requisitos de segurança do Unity Catalog. A tabela a seguir mostra quais tipos de compute estão em conformidade:

Tipo de Compute

em conformidade com a UC

Armazém SQL

Sim

Compute serverless (notebooks, jobs, pipelines)

Sim

Cluster — Modo de acesso de usuário único

Sim

Cluster — Modo de acesso compartilhado

Sim

Cluster — Modo de Acesso Sem Isolamento Compartilhado

Não

Para criar compute compatível com UC:

Como administrador de workspace, você pode restringir a criação de clusters somente para administradores, ou usar políticas de cluster para permitir que os usuários criem seus próprios clusters compatíveis com o Unity Catalog. Consulte Permissões de computação e Criar e gerenciar políticas de computação.

Etapa 4: Criar catálogos e esquemas​

Catálogos são a unidade primária de isolamento de dados no Unity Catalog. Todos os esquemas, tabelas, volumes, views e funções vivem em catálogos.

Novos workspaces são automaticamente provisionados com um catálogo de workspace. Por default, este catálogo recebe o nome do seu workspace. Para verificar se você tem um catálogo do workspace, clique em Ícone de dados. Catálogo na barra lateral e procure por um catálogo que corresponda ao nome do seu workspace. Se ele existir, talvez não seja necessário criar catálogos adicionais de imediato.

Com o tempo, considere criar novos catálogos à medida que a sua utilização cresce, organizados em torno de limites lógicos, tais como:

  • Equipes ou unidades de negócios : catálogos separados para engenharia, finanças e marketing
  • Ambientes : catálogos dev, staging e prod separados para isolar o desenvolvimento dos dados de produção
  • Projetos : um catálogo dedicado para cada principal produto de dados ou iniciativa

Caso os limites de dados de sua organização já estejam bem definidos, é possível criar catálogos agora.

Para criar um catálogo, execute o seguinte SQL.

SQL
CREATE CATALOG IF NOT EXISTS <catalog-name>;
nota

Dados gerenciados neste catálogo são armazenados no local de armazenamento gerenciado default do metastore. Para usar uma localização diferente, especifique MANAGED LOCATION. Consulte Conectar ao armazenamento de objetos na nuvem usando o Unity Catalog.

Em seguida, crie um esquema para organizar suas tabelas e outros objetos de dados:

SQL
CREATE SCHEMA IF NOT EXISTS <catalog-name>.<schema-name>;

Para obter instruções detalhadas e saber como usar o Catalog Explorer, consulte Criar catálogos e Criar esquemas.

Etapa 5: Conceder privilégios aos usuários​

No Unity Catalog, os usuários não têm acesso aos dados por padrão. Administradores do workspace podem conceder privilégios a objetos protegíveis em todo o workspace. A Databricks recomenda conceder privilégios para grupos em vez de usuários individuais. Isso facilita o gerenciamento do acesso à medida que sua equipe cresce.

Habilitar o descobrimento de dados​

O Databricks recomenda conceder o privilégio BROWSE em todos os catálogos ao grupo All account users. BROWSE permite que os usuários vejam que os objetos existem e visualizem seus metadados no Catalog Explorer sem conceder acesso aos dados subjacentes. Isso permite que os usuários descubram dados e solicitem acesso sem exigir que os administradores concedam permissões antecipadamente.

SQL
GRANT BROWSE ON CATALOG <catalog-name> TO `account users`;

Conceder acesso a dados​

Para acessar dados no Unity Catalog, os usuários geralmente precisam do privilégio específico para a operação (como SELECT para ler uma tabela) e dos privilégios de uso apropriados (como USE CATALOG no catálogo pai e USE SCHEMA no esquema pai). Consulte conceitos do modelo de permissões do Unity Catalog.

Esses privilégios devem ser concedidos apenas aos usuários e grupos que necessitam de acesso a catálogos e esquemas específicos. Por exemplo, para conceder acesso somente leitura a um esquema, use o seguinte SQL:

SQL
GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

Para acesso de leitura e gravação:

SQL
GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT, MODIFY ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

Padrões de acesso mudam com o tempo. Consulte as páginas a seguir como referência ao gerenciar privilégios no Unity Catalog:

Lista de verificação de configuração​

Se você concluiu todas as cinco etapas, o Unity Catalog está configurado em seu espaço de trabalho e seus usuários podem começar a trabalhar com os dados. Use a lista de verificação a seguir para confirmar que tudo esteja em ordem:

Passos seguintes​

Com o Unity Catalog configurado, poderá começar a aplicar capacidades de governança mais avançadas ao seu workspace.

Controle de acesso baseado em atributos​

O controle de acesso baseado em atributos (ABAC) permite a definição de políticas de acesso dinâmicas e granulares com base nos atributos dos dados e do usuário que os acessa. Em vez de gerenciar permissões tabela por tabela, basta escrever políticas que aplicam automaticamente filtros de linha e máscaras de coluna. Por exemplo, é possível ocultar colunas confidenciais de usuários fora de uma região específica ou mascarar PII para funções não privilegiadas.

Mascaramento de coluna ABAC em ação

Classificação de dados​

Classificação de dados usa um agente de AI para analisar automaticamente seu catálogo e marcar dados confidenciais como PII, informação financeira e credenciais. Após a classificação, as tags podem se integrar diretamente com as políticas ABAC, permitindo aplicar controles de governança com base no que os dados realmente contêm, em vez de gerenciar o acesso objeto por objeto.

Resultados da classificação de dados

Monitoramento da qualidade dos dados​

Monitoramento da qualidade dos dados oferece detecção de anomalia em todas as tabelas em um esquema e perfil de dados no nível da tabela. Detecção de anomalia monitora automaticamente a atualização e a integridade usando padrões de data histórica, identificando problemas sem configuração manual. O perfil de dados captura distribuições estatísticas ao longo do tempo, permitindo o acompanhamento da integridade de dados e a definição de alertas para alterações inesperadas.

Dashboard de monitoramento da qualidade dos dados

Governança de IA com o Gateway de IA do Unity​

Unity AI Gateway estende a governança do Unity Catalog para a IA. Ele fornece governança para endpoints de LLM, agentes e servidores MCP, permitindo implementar controle de acesso, registro de auditoria e observabilidade em todas as interações de IA em uma IU unificada.

Nesta página