O que é o Unity Catalog?
O Unity Catalog é a camada de governança unificada para dados e IA integrada ao Databricks. Quando habilitado para um workspace, o Unity Catalog opera automaticamente em cada interação de dados e AI em seus workspaces: impondo controle de acesso ao consultar uma tabela ou chamar um modelo, acompanhamento a linhagem conforme os ativos de dados e AI são usados, registrando a atividade para auditoria e muito mais. Você trabalha com os objetos que o Unity Catalog governa por meio do Catalog Explorer, SQL, da CLI do Databricks e das APIs REST.
O Unity Catalog é ativado automaticamente para todos os workspaces do Databricks criados após 6 de março de 2024.
- Para verificar se o Unity Catalog está habilitado e configurado corretamente para seu workspace, consulte guia de configuração do Unity Catalog.
- Se o workspace foi criado antes de 6 de março de 2024, consulte Atualizar um workspace do Databricks para o Unity Catalog.
O Unity Catalog também está disponível como uma implementação de código aberto. Veja os blogs de anúncios e o Unity Catalog GitHub repositório público.
O modelo de objeto Unity Catalog
Cada ativo que você governa no Unity Catalog é modelado como um objeto protegível , um objeto no qual você pode conceder permissões a usuários, entidades de serviço ou grupos. Ativos de dados e AI, como tabelas, views, volumes, funções, modelos e serviços (serviços de modelo e serviços MCP), seguem um namespace de três níveis (catalog.schema.object). Tabelas e volumes podem ser **gerenciados**, onde o Unity Catalog lida com a governança e o ciclo de vida do armazenamento de arquivos subjacente, ou **externos**, onde o Unity Catalog lida apenas com a governança. Outros objetos, como credenciais de armazenamento, locais externos, conexões e compartilhamentos, ficam diretamente abaixo do metastore.
As páginas seguintes explicam com mais detalhes os conceitos principais Unity Catalog e o fluxo de trabalho.
-
- Objetos protegíveis
- Aprenda sobre cada tipo de objeto na hierarquia Unity Catalog e como as permissões se aplicam a eles.
-
- gerenciamento versus ativo externo
- Entenda a diferença entre tabelas e volumes gerenciados e externos, e quando usar cada um.
-
- Requisitos e limitações
- Analise os requisitos compute , os formatos de arquivo suportados, as restrições de nomenclatura e as limitações conhecidas.
RecursosUnity Catalog
Unity Catalog fornece ferramentas integradas para gerenciar todas as dimensões do seu ambiente de dados e AI . Os tópicos a seguir abrangem as principais áreas de competência.
-
- Controle de acesso
- Gerencie quem pode acessar o quê usando privilégios, políticas baseadas em atributos, filtros de linha e coluna e vinculações de workspace .
-
- Descoberta
- Interaja com objetos protegíveis usando o Catalog Explorer, a interface de usuário Databricks para descobrir e gerenciar dados e ativos AI registrados no Unity Catalog.
-
- Linhagem
- Rastreie automaticamente como os dados e os ativos de AI fluem e se conectam, desde os dados de origem até modelos, serviços e dashboards.
-
- Auditoria
- Mantenha um registro completo de todos os acessos a dados e atividades do sistema usando a tabela log auditoria do sistema.
-
- Classificação de dados
- Classifique e tag automaticamente os dados sensíveis em seu catálogo.
-
- Monitoramento da qualidade dos dados
- Monitore proativamente a integridade dos dados com criação de perfis e alertas integrados que detectam anomalias antes que elas cheguem aos consumidores subsequentes.
-
- Data Sharing
- Compartilhe com segurança dados ativos e ativos de AI entre organizações e clouds usando o protocolo OpenSharing aberto.
-
- governança AI
- Controle a atividade da AI e o tráfego AI usando Unity Catalog e AI Gateway.
Comece agora
O recurso a seguir ajudará você a começar a usar Unity Catalog. Se o seu workspace foi criado após 6 de março de 2024, ele será ativado automaticamente com Unity Catalog.
-
- Comece a usar o Unity Catalog
- Verifique se Unity Catalog já está habilitado para seu workspace e configure seu primeiro catálogo, esquema e controles de acesso a dados.
-
- Atualize para Unity Catalog
- Aprenda como atualizar um workspace que ainda não está usando Unity Catalog.
-
- Começar com a governança de AI
- Configure a governança para seus ativos de AI, o tráfego de AI e o comportamento do serviço de AI.