Pular para o conteúdo principal
Última atualização em

Descobrimento de dados no Unity Catalog

O descobrimento de dados é a capacidade de usuários em toda a sua organização encontrarem, entenderem e confiarem em ativos de dados no catálogo. Como administrador, você molda a capacidade de descoberta por meio das experiências de navegação que habilita, dos metadados de tag e sinais de confiança que aplica, e da camada semântica que define o significado dos seus dados. Esta página fornece uma visão geral dos recursos de descobrimento de dados no Unity Catalog e links para a documentação detalhada de cada um.

Página Descobrir​

A página Discover é uma experiência de navegação com curadoria onde os usuários encontram ativos de dados organizados por domínios e subdomínios ou por tipo de ativo, e exploram ativos recomendados por IA. Curadores organizam e destacam os ativos mais valiosos para sua organização, para que os consumidores possam explorar os dados de uma maneira alinhada com a forma como entendem o negócio.

Para abrir a página Discover , clique em Ícone de bússola. Discover na barra lateral.

Procurar por domínio na página Discover

A página Discover reúne várias capacidades para encontrar e organizar dados:

  • Domínios e subdomínios : uma hierarquia alinhada aos negócios que agrupa ativos relacionados para que os usuários possam navegar pelos dados por área de negócios.
  • Pages : Pages controladas que definem conceitos e termos de negócios. O Genie One referencia essas Pages como a definição de fonte da verdade quando precisa fundamentar uma resposta em um termo de negócios.
  • Recomendações baseadas em IA : Ativos populares e valiosos exibidos automaticamente para ajudar os curadores a destacar os melhores dados em escala.
  • Curadoria personalizada : seções definidas pelo curador que destacam e organizam os ativos mais valiosos para um domínio ou para toda a organização.

Use as páginas a seguir para saber mais sobre a página Discover e os principais recursos nela contidos:

    • Página Descobrir
    • Navegue pelos ativos de dados selecionados por domínio ou tipo de ativo e pesquise em todo o catálogo.
    • Domínios e subdomínios
    • Organize ativos de dados em uma hierarquia alinhada aos negócios que os consumidores navegam na página Discover.
    • Páginas
    • Crie e governe páginas que definem conceitos de negócios, exibidas na página Descobrir.

Personas de curador e consumidor​

Os usuários interagem com a página Descobrir como uma das duas personas:

  • Curator : cria e gerencia domínios, atribui ativos a eles, personaliza a página Discover e permite que outras pessoas na organização naveguem pelos dados por finalidade de negócios. Para Páginas, um curador pode editar, publicar e gerenciar qualquer Página em um domínio. Essas ações exigem permissões de curador, que os administradores do account podem conceder no nível do account (MANAGE DISCOVER) ou em um domínio ou subdomínio específico (MANAGE). Consulte Permissões de curador.
  • Consumidor : usa a página Discover para encontrar ativos selecionados organizados por domínio ou tipo de ativo, e explora ativos recomendados por IA. Para Páginas, um consumidor pode criar e publicar Páginas, além de visualizar, comentar e sugerir edições em Páginas publicadas em um domínio ao qual ele tenha acesso. Consulte os passos para consumidores.

Explorador de Catálogos​

Enquanto a página Descobrir apresenta um subconjunto com curadoria de seus dados, o Catalog Explorer mostra tudo em seus catálogos, na hierarquia de catálogo em vez de uma alinhada aos negócios. É a interface para navegar e inspecionar objetos de dados diretamente, incluindo detalhes que a view com curadoria não exibe: propriedades de objeto, permissões, dados de exemplo e linhagem. Direcione os usuários para a página Descobrir quando eles quiserem os ativos que sua organização recomenda, e para o Catalog Explorer quando precisarem da visão completa ou precisarem inspecionar e configurar um objeto específico.

Para abrir o Catalog Explorer, clique em Ícone de dados. Catálogo na barra lateral.

A interface do Explorador de Catálogos, mostrando a árvore de catálogos e uma lista de objetos com sugestões

Semântica do Unity Catalog​

Unity Catalog semantics é uma coleção de ferramentas para ajudar você a definir métricas de negócios, termos e estruturas organizacionais padrão sobre os dados do seu catálogo. Isso ajuda sua organização e suas ferramentas de IA a trabalharem a partir de uma interpretação compartilhada do que seus dados significam. Unity Catalog semantics consiste nos seguintes componentes:

  • Views de métricas definem e controlam KPIs de negócios reutilizáveis.
  • Domínios e subdomínios organizam ativos em uma hierarquia alinhada aos negócios para navegação na página Descobrir .
  • As Páginas fornecem a cada conceito e termo de negócio uma definição autoritativa.
  • Certificação e descontinuação sinalizam quais ativos sua organização validou e quais estão desatualizados.

Essas definições compõem a camada modelada por humanos da Genie Ontology: o contexto de negócios que você define e governa explicitamente. O Genie One combina esse contexto modelado com o contexto que ele infere automaticamente de seus ativos e uso, formando uma camada de contexto unificada na qual ele se baseia para responder a perguntas.

Use as páginas a seguir para saber mais sobre a semântica do Unity Catalog e seus componentes:

tags​

Tags são atributos que você aplica a objetos protegíveis do Unity Catalog para organizá-los e categorizá-los, o que torna os dados mais fáceis de pesquisar e filtrar. Com tags governadas, os administradores marcam chaves de tag específicas como governadas e definem o conjunto de valores permitidos para cada uma.

Por exemplo, uma tag sensitivity controlada pode permitir apenas public, internal ou restricted, de modo que a mesma tag seja aplicada da mesma forma em todo o catálogo.

Atribuir uma tag controlada a um objeto

Linhagem​

A linhagem rastreia como os dados fluem entre tabelas, colunas e ativos de AI, para que os usuários possam rastrear de onde os dados vêm e como são usados antes de confiar neles. O Unity Catalog captura a linhagem automaticamente para queries executadas no Databricks e a exibe no Catalog Explorer.

Gráfico de linhagem no Catalog Explorer

    • Linhagem externa
    • Rastreie a linhagem de dados que se movem entre o Databricks e sistemas externos.

Certificação e descontinuação​

Você pode certificar um ativo de dados para sinalizar que ele atende aos padrões da sua organização, ou descontinuá-lo para avisar que está desatualizado e não deve ser usado. Esses sinais aparecem ao lado do ativo no workspace e influenciam como ele aparece na pesquisa, para que os usuários possam julgar se devem confiar em um ativo antes de usá-lo.

Por exemplo, uma marca de verificação azul ao lado de um ativo de dados indica que ele foi certificado.

Status de certificação em um objeto

Nesta página