governança de dados com Unity Catalog

O Unity Catalog é a camada de governança unificada para dados e IA no Databricks. Ele oferece um local único para controlar o acesso, descobrir ativos, rastrear linhagem, classificar dados confidenciais e monitorar a qualidade em toda a sua organização, não importa onde seus dados estejam. O Unity Catalog governa modelos, funções e outros ativos de IA como objetos protegidos, da mesma forma que governa suas tabelas e volumes.

Este capítulo aborda os recursos do Unity Catalog que regem seus dados e ativos de IA. Os controles de runtime para IA, como roteamento de tráfego de modelo, definição de diretrizes e monitoramento do uso e custo de IA, são abordados em Governança de IA com o Unity AI Gateway. Tópicos de segurança relacionados, como autenticação, rede, criptografia e compliance de privacidade, são abordados em Segurança e compliance.

Comece aqui

Os recursos a seguir o ajudam a entender o Unity Catalog, configurá-lo e seguir as práticas recomendadas.

• • O que é Unity Catalog?
  • Entenda o modelo de objeto do Unity Catalog e como ele governa ativos de dados e de AI.
• • Comece a usar o Unity Catalog
  • Configure o Unity Catalog e crie seus primeiros ativos governados.
• • Práticas recomendadasUnity Catalog
  • Siga as práticas recomendadas para configurar e gerenciar a governança com o Unity Catalog.

Capacidades de governança

As seguintes capacidades abrangem as principais áreas de governança de dados e ativos de AI com o Unity Catalog.

• • Controle de acesso
  • Conceda e gerencie acesso granular a dados e ativos de IA com privilégios, controle de acesso baseado em atributos e filtros de linha e máscaras de coluna.
• • Tags controladas
  • Defina e controle as tags usadas para classificar e organizar objetos protegíveis.
• • Descobrimento de dados
  • Ajude os usuários a encontrar os dados e ativos de IA de que precisam com o Catalog Explorer, comentários gerados por IA e tags certificadas e obsoletas.
• • Linhagem de dados e IA
  • Capture e visualize como os dados fluem pela sua organização, até o nível da coluna, incluindo os modelos que os consomem.
• • Classificação de dados
  • Analise e tag automaticamente dados confidenciais, como PII, em tabelas no Unity Catalog.
• • Qualidade de dados
  • Detecte anomalias em um catálogo ou esquema e crie o perfil das propriedades estatísticas de tabelas individuais.
• • Auditoria
  • Acompanhe quem acessou seus dados e quais ações eles realizaram usando logs de auditoria.
• • Data Sharing
  • Compartilhe dados e ativos de IA de forma segura entre organizações e plataformas com OpenSharing, Clean Rooms e Databricks Marketplace.
• • Governança de IA com o Unity AI Gateway
  • Governe as interações de Runtime de AI com o Unity AI Gateway, incluindo APIs de modelo, agentes de codificação, agentes, tráfego de AI e diretrizes.

Administradores de account e metastore podem ver um resumo consolidado do estado dos dados, incluindo o uso de ativos, cobertura de classificação e a qualidade dos dados, na página Dados no Governance Hub.