Descobrimento de dados no Unity Catalog

O descobrimento de dados é a capacidade de usuários em toda a sua organização encontrarem, entenderem e confiarem em ativos de dados no catálogo. Como administrador, você molda a capacidade de descoberta por meio das experiências de navegação que habilita, dos metadados de tag e sinais de confiança que aplica, e da camada semântica que define o significado dos seus dados. Esta página fornece uma visão geral dos recursos de descobrimento de dados no Unity Catalog e links para a documentação detalhada de cada um.

Página Descobrir

A página Discover é uma experiência de navegação com curadoria onde os usuários encontram ativos de dados organizados por domínios e subdomínios ou por tipo de ativo, e exploram ativos recomendados por IA. Curadores organizam e destacam os ativos mais valiosos para sua organização, para que os consumidores possam explorar os dados de uma maneira alinhada com a forma como entendem o negócio.

Para abrir a página Discover , clique em Discover na barra lateral.

A página Discover reúne várias capacidades para encontrar e organizar dados:

• Domínios e subdomínios : uma hierarquia alinhada aos negócios que agrupa ativos relacionados para que os usuários possam navegar pelos dados por área de negócios.
• Pages : Pages controladas que definem conceitos e termos de negócios. O Genie One referencia essas Pages como a definição de fonte da verdade quando precisa fundamentar uma resposta em um termo de negócios.
• Recomendações baseadas em IA : Ativos populares e valiosos exibidos automaticamente para ajudar os curadores a destacar os melhores dados em escala.
• Curadoria personalizada : seções definidas pelo curador que destacam e organizam os ativos mais valiosos para um domínio ou para toda a organização.

Use as páginas a seguir para saber mais sobre a página Discover e os principais recursos nela contidos:

• • Página Descobrir
  • Navegue pelos ativos de dados selecionados por domínio ou tipo de ativo e pesquise em todo o catálogo.
• • Domínios e subdomínios
  • Organize ativos de dados em uma hierarquia alinhada aos negócios que os consumidores navegam na página Discover.
• • Páginas
  • Crie e governe páginas que definem conceitos de negócios, exibidas na página Descobrir.

Personas de curador e consumidor

Os usuários interagem com a página Descobrir como uma das duas personas:

• Curador : Cria e gerencia domínios, atribui ativos a eles, personaliza a página Discover e permite que outros na organização explorem dados por finalidade de negócios. Para Páginas, um curador pode editar, publicar e gerenciar qualquer Página em um domínio. Estas ações exigem a permissão MANAGE DISCOVERY, que os administradores de conta podem conceder no nível de account, domínio ou subdomínio. Consulte Permissões de curador.
• Consumidor : usa a página Discover para encontrar ativos selecionados organizados por domínio ou tipo de ativo, e explora ativos recomendados por IA. Para Páginas, um consumidor pode criar e publicar Páginas, além de visualizar, comentar e sugerir edições em Páginas publicadas em um domínio ao qual ele tenha acesso. Consulte os passos para consumidores.

Explorador de Catálogos

Enquanto a página Descobrir apresenta um subconjunto com curadoria de seus dados, o Catalog Explorer mostra tudo em seus catálogos, na hierarquia de catálogo em vez de uma alinhada aos negócios. É a interface para navegar e inspecionar objetos de dados diretamente, incluindo detalhes que a view com curadoria não exibe: propriedades de objeto, permissões, dados de exemplo e linhagem. Direcione os usuários para a página Descobrir quando eles quiserem os ativos que sua organização recomenda, e para o Catalog Explorer quando precisarem da visão completa ou precisarem inspecionar e configurar um objeto específico.

Para abrir o Catalog Explorer, clique em Catálogo na barra lateral.

• • Explorador de Catálogos
  • Navegue e inspecione objetos do Unity Catalog e visualize seus detalhes, permissões e relacionamentos.
• • Explorar objetos de bancos de dados
  • Localize e examine catálogos, esquemas, tabelas e outros objetos de banco de dados no Catalog Explorer.

Semântica do Unity Catalog

Unity Catalog semantics é uma coleção de ferramentas para ajudar você a definir métricas de negócios, termos e estruturas organizacionais padrão sobre os dados do seu catálogo. Isso ajuda sua organização e suas ferramentas de IA a trabalharem a partir de uma interpretação compartilhada do que seus dados significam. Unity Catalog semantics consiste nos seguintes componentes:

• Views de métricas definem e controlam KPIs de negócios reutilizáveis.
• Domínios e subdomínios organizam ativos em uma hierarquia alinhada aos negócios para navegação na página Descobrir .
• As Páginas fornecem a cada conceito e termo de negócio uma definição autoritativa.
• Certificação e descontinuação sinalizam quais ativos sua organização validou e quais estão desatualizados.

Essas definições compõem a camada modelada por humanos da Genie Ontology: o contexto de negócios que você define e governa explicitamente. O Genie One combina esse contexto modelado com o contexto que ele infere automaticamente de seus ativos e uso, formando uma camada de contexto unificada na qual ele se baseia para responder a perguntas.

Use as páginas a seguir para saber mais sobre a semântica do Unity Catalog e seus componentes:

• • Visualizações de métricas
  • Defina e controle KPIs de negócios consistentes e reutilizáveis como objetos do Unity Catalog.
• • Domínios e subdomínios
  • Organize ativos de dados em uma hierarquia alinhada aos negócios que os consumidores navegam na página Discover.
• • Páginas
  • Crie Páginas governadas que definem conceitos de negócios para pessoas e para o Genie One.
• • Marcar dados como certificados ou descontinuados
  • Sinalize quais ativos de dados sua organização confia e quais estão desatualizados.

tags

Tags são atributos que você aplica a objetos protegíveis do Unity Catalog para organizá-los e categorizá-los, o que torna os dados mais fáceis de pesquisar e filtrar. Com tags governadas, os administradores marcam chaves de tag específicas como governadas e definem o conjunto de valores permitidos para cada uma.

Por exemplo, uma tag sensitivity controlada pode permitir apenas public, internal ou restricted, de modo que a mesma tag seja aplicada da mesma forma em todo o catálogo.

• • Aplicar tags a objetos protegíveis do Unity Catalog
  • Aplique e gerencie tags em objetos de catálogo para organizar e categorizar seus dados.
• • Tags controladas
  • Marque chaves de tag específicas como controladas e defina seus valores permitidos para uma marcação consistente.

Linhagem

A linhagem rastreia como os dados fluem entre tabelas, colunas e ativos de AI, para que os usuários possam rastrear de onde os dados vêm e como são usados antes de confiar neles. O Unity Catalog captura a linhagem automaticamente para queries executadas no Databricks e a exibe no Catalog Explorer.

• • Linhagem no Unity Catalog
  • Capture e visualize como os dados fluem entre tabelas, colunas, notebooks e outros ativos.
• • Linhagem externa
  • Rastreie a linhagem de dados que se movem entre o Databricks e sistemas externos.

Certificação e descontinuação

Você pode certificar um ativo de dados para sinalizar que ele atende aos padrões da sua organização, ou descontinuá-lo para avisar que está desatualizado e não deve ser usado. Esses sinais aparecem ao lado do ativo no workspace e influenciam como ele aparece na pesquisa, para que os usuários possam julgar se devem confiar em um ativo antes de usá-lo.

Por exemplo, uma marca de verificação azul ao lado de um ativo de dados indica que ele foi certificado.

• • Marcar dados como certificados ou descontinuados
  • Aplique tags de sistema para marcar ativos como certificados ou descontinuados.