Pular para o conteúdo principal

Descobrimento de dados no Unity Catalog

O descobrimento de dados é a capacidade de usuários em toda a sua organização encontrarem, entenderem e confiarem em ativos de dados no catálogo. Como administrador, você molda a capacidade de descoberta por meio das experiências de navegação que habilita, dos metadados de tag e sinais de confiança que aplica, e da camada semântica que define o significado dos seus dados. Esta página fornece uma visão geral dos recursos de descobrimento de dados no Unity Catalog e links para a documentação detalhada de cada um.

Página Descobrir​

A página Discover é uma experiência de navegação com curadoria onde os usuários encontram ativos de dados organizados por domínios e subdomínios ou por tipo de ativo, e exploram ativos recomendados por IA. Curadores organizam e destacam os ativos mais valiosos para sua organização, para que os consumidores possam explorar os dados de uma maneira alinhada com a forma como entendem o negócio.

Para abrir a página Discover , clique em Ícone de bússola. Discover na barra lateral.

Procurar por domínio na página Discover

A página Discover reúne várias capacidades para encontrar e organizar dados:

  • Domínios e subdomínios : uma hierarquia alinhada aos negócios que agrupa ativos relacionados para que os usuários possam navegar pelos dados por área de negócios.
  • Pages : Pages controladas que definem conceitos e termos de negócios. O Genie One referencia essas Pages como a definição de fonte da verdade quando precisa fundamentar uma resposta em um termo de negócios.
  • Recomendações baseadas em IA : Ativos populares e valiosos exibidos automaticamente para ajudar os curadores a destacar os melhores dados em escala.
  • Curadoria personalizada : seções definidas pelo curador que destacam e organizam os ativos mais valiosos para um domínio ou para toda a organização.

Use as páginas a seguir para saber mais sobre a página Discover e os principais recursos nela contidos:

    • Página Descobrir
    • Navegue pelos ativos de dados selecionados por domínio ou tipo de ativo e pesquise em todo o catálogo.
    • Domínios e subdomínios
    • Organize ativos de dados em uma hierarquia alinhada aos negócios que os consumidores navegam na página Discover.
    • Páginas
    • Crie e governe páginas que definem conceitos de negócios, exibidas na página Descobrir.

Personas de curador, gerenciador de página e consumidor​

Os usuários interagem com a página Discover como uma das três personas:

  • Curador : cria e gerencia domínios, atribui ativos a eles, personaliza a página Descobrir e permite que outras pessoas na organização naveguem pelos dados de acordo com o objetivo comercial. Para Páginas, um curador pode editar, publicar, certificar e gerenciar qualquer página em um domínio. Essas ações requerem permissões de curador, que os administradores account podem conceder no nível da account (MANAGE DISCOVER) ou em um domínio ou subdomínio específico (MANAGE DOMAIN). Consulte Permissões de curador.
  • Gerenciador de página : publica e gerencia páginas. Nos domínios e subdomínios onde possuem MANAGE PAGES, um Gerenciador de página pode editar, publicar, despublicar e excluir Páginas, aceitar ou rejeitar sugestões e alterar o proprietário da Página. Consulte Conceder permissões de Gerenciador de página.
  • Consumidor : Usa a página Descobrir para encontrar ativos curados organizados por domínio ou tipo de ativo e explora ativos recomendados por AI. Para Páginas, um consumidor pode criar páginas e view, comentar e sugerir edições para páginas publicadas em um domínio que ele possa acessar. Se um curador restringir quem pode publicar páginas, um consumidor cria rascunhos que um gerenciador de página ou curador publica. Consulte Permissões e os passos para consumidores.

Explorador de Catálogos​

Enquanto a página Descobrir apresenta um subconjunto com curadoria de seus dados, o Catalog Explorer mostra tudo em seus catálogos, na hierarquia de catálogo em vez de uma alinhada aos negócios. É a interface para navegar e inspecionar objetos de dados diretamente, incluindo detalhes que a view com curadoria não exibe: propriedades de objeto, permissões, dados de exemplo e linhagem. Direcione os usuários para a página Descobrir quando eles quiserem os ativos que sua organização recomenda, e para o Catalog Explorer quando precisarem da visão completa ou precisarem inspecionar e configurar um objeto específico.

Para abrir o Catalog Explorer, clique em Ícone de dados. Catálogo na barra lateral.

A interface do Explorador de Catálogos, mostrando a árvore de catálogos e uma lista de objetos com sugestões

Semântica do Unity Catalog​

Unity Catalog semantics é uma coleção de ferramentas para ajudar você a definir métricas de negócios, termos e estruturas organizacionais padrão sobre os dados do seu catálogo. Isso ajuda sua organização e suas ferramentas de IA a trabalharem a partir de uma interpretação compartilhada do que seus dados significam. Unity Catalog semantics consiste nos seguintes componentes:

  • Views de métricas definem e controlam KPIs de negócios reutilizáveis.
  • Domínios e subdomínios organizam ativos em uma hierarquia alinhada aos negócios para navegação na página Descobrir .
  • As Páginas fornecem a cada conceito e termo de negócio uma definição autoritativa.
  • Certificação e descontinuação sinalizam quais ativos sua organização validou e quais estão desatualizados.

Essas definições compõem o conhecimento modelado no Genie Ontology, o contexto de negócios que você define e governa explicitamente. O Genie One combina conhecimento modelado com conhecimento aprendido que ele extrai automaticamente de seus ativos e uso, formando uma camada de contexto unificada da qual ele se baseia para responder perguntas.

Use as páginas a seguir para saber mais sobre a semântica do Unity Catalog e seus componentes:

tags​

Tags são atributos que você aplica a objetos protegíveis do Unity Catalog para organizá-los e categorizá-los, o que torna os dados mais fáceis de pesquisar e filtrar. Com tags governadas, os administradores marcam chaves de tag específicas como governadas e definem o conjunto de valores permitidos para cada uma.

Por exemplo, uma tag sensitivity controlada pode permitir apenas public, internal ou restricted, de modo que a mesma tag seja aplicada da mesma forma em todo o catálogo.

Atribuir uma tag controlada a um objeto

Linhagem​

A linhagem rastreia como os dados fluem entre tabelas, colunas e ativos de AI, para que os usuários possam rastrear de onde os dados vêm e como são usados antes de confiar neles. O Unity Catalog captura a linhagem automaticamente para queries executadas no Databricks e a exibe no Catalog Explorer.

Gráfico de linhagem no Catalog Explorer

    • Linhagem externa
    • Rastreie a linhagem de dados que se movem entre o Databricks e sistemas externos.

Certificação e descontinuação​

Você pode certificar um ativo de dados para sinalizar que ele atende aos padrões da sua organização, ou descontinuá-lo para avisar que está desatualizado e não deve ser usado. Esses sinais aparecem ao lado do ativo no workspace e influenciam como ele aparece na pesquisa, para que os usuários possam julgar se devem confiar em um ativo antes de usá-lo.

Por exemplo, uma marca de verificação azul ao lado de um ativo de dados indica que ele foi certificado.

Status de certificação em um objeto