Rastrear linhagem de API de modelo e provedor
O Unity Catalog captura a linhagem para APIs de modelo (serviços de modelo) e provedores de modelo externos (serviços de provedor de modelo) governados por meio do Unity AI Gateway. Você pode rastrear os modelos de fundação que cada serviço atende, seu roteamento primário ou de fallback, e os ativos downstream que consomem os dados de carga útil. A linhagem permite que você:
- Defina o escopo do impacto antes de descontinuar um modelo de fundação ou serviço : identifique serviços ou cargas de trabalho downstream afetados antes de descontinuar um modelo de fundação restrito ou realizar o swap de um provedor de modelo.
- Rastrear dependências entre ativos de dados e AI : siga um serviço desde os modelos de fundação que ele atende até a tabela de inferência na qual ele registra cargas úteis, e até as cargas de trabalho downstream que consomem os dados de carga útil.
Requisitos
- O serviço de modelo ou serviço de provedor de modelo deve ser registrado em um metastore do Unity Catalog. Consulte Governar APIs de modelo (serviços de modelo) e Governar provedores de modelos externos (serviços de provedor de modelos).
- Para visualizar a linhagem de um serviço, você deve ter pelo menos o privilégio
BROWSEno catálogo pai do serviço, e o catálogo deve estar acessível a partir do Workspace. Consulte Vinculação de catálogo de workspace. - A linhagem respeita as permissões do Unity Catalog. Os objetos que você não tem permissão para visualizar aparecem como nós mascarados. Para obter detalhes, consulte Permissões.
O Unity AI Gateway não é compatível com o AWS GovCloud ou o Azure Government.
Qual linhagem é capturada
O Unity Catalog captura as dependências de um serviço a partir de sua definição : os objetos que ele referencia quando você cria ou atualiza o serviço. A linhagem distingue duas direções, consistente com a linhagem de tabela:
- Dependências upstream são os objetos dos quais um serviço depende, como um modelo de fundação disponibilizado.
- Dependências downstream são os objetos que dependem de um serviço, como uma tabela de inferência.
A tabela a seguir lista os relacionamentos de linhagem capturados para cada tipo de serviço.
Serviço | Upstream | Downstream |
|---|---|---|
API de modelo (serviço de modelo) | Os modelos básicos disponibilizados, anotados como PRIMARY ou FALLBACK . Um modelo externo disponibilizado aparece como seu provedor de modelo externo. | A tabela de inferência configurada para log cargas úteis de solicitação. |
Provedor de modelo externo (serviço de provedor de modelos) | Nenhum. Serviços de modelo de avaliação a partir de políticas de guardrail não são abordados aqui. | Cada serviço de modelo configurado para rotear para o provedor, e a tabela de inferência configurada para log payloads de solicitação. |
A linhagem é recíproca: um modelo de fundação disponibilizado mostra o serviço de modelo como um consumidor downstream na própria Lineage tab do modelo de fundação, e uma tabela de inferência mostra o serviço como um produtor upstream.
View linhagem de serviço no Explorador de Catálogos
Para visualizar a linhagem de um serviço de modelo ou serviço de provedor de modelo:
-
No seu workspace do Databricks, clique em
Catálogo . -
Pesquise ou navegue pelo serviço e, em seguida, clique no nome dele.
-
Selecione a tab Linhagem . A tab lista a linhagem upstream e downstream do serviço, com as seguintes colunas:
- Nome : o nome do objeto relacionado.
- Direção : se o objeto é Upstream ou Downstream do serviço.
- Tipo : o tipo do objeto relacionado, como Modelo , Serviço de provedor de modelo ou Tabela .
- Última atividade : quando o relacionamento de linhagem foi capturado pela última vez.
-
Para restringir a lista, insira um nome em Filtrar linhagem ou filtre por direção, tipo de objeto, Workspace e intervalo de tempo.
O exemplo a seguir mostra a tab Linhagem para o serviço de modelo main.ai_lineage_demo.customer_support_endpoint. Os ativos upstream incluem os modelos de fundação databricks-claude-opus-4-8 e databricks-kimi-k3-neo, e o serviço de provedor de modelo anthropic que ele atende. O ativo downstream é a tabela de inferência customer_support_endpoint_payload que Logs suas cargas úteis de solicitação.
Visualizar o gráfico de linhagem
O gráfico de linhagem renderiza serviços e seus objetos relacionados como nós conectados, para que você possa explorar visualmente as dependências de vários saltos.
- Na tab Linhagem do serviço, clique em Ver o gráfico de linhagem.
- Clique no ícone
em um nó para expandir suas conexões. - Para um serviço de modelo, as bordas para os modelos de fundação ou serviços de provedor de modelo que ele atende são rotuladas como PRIMARY ou FALLBACK . Clique em um nó para navegar até o objeto ou explorar sua linhagem.
Por default, o gráfico mostra a linhagem em todos os workspaces anexados ao metastore. Use o filtro de intervalo de tempo na barra de ferramentas do gráfico para distinguir dependências ativas de obsoletas. Para limitar os resultados ao workspace atual, selecione um nó e, em seguida, selecione Only this workspace no painel Lineage details .
O exemplo a seguir mostra o gráfico acessado a partir do serviço de modelo main.ai_lineage_demo.customer_support_endpoint. O serviço de provedor de modelo anthropic se ramifica para três serviços de modelo, portanto, uma única view mostra todos os serviços que uma alteração nesse provedor afetaria. Antes de descontinuar um modelo de fundação ou restringir o acesso a um serviço, use o gráfico de linhagem para:
- Encontre todos os serviços afetados em uma view : veja todos os serviços de modelo que atendem a um determinado modelo ou provedor, em vez de verificar cada serviço um por um.
- Identifique quais serviços seriam interrompidos daqueles que sofrem degradação : Os rótulos de borda PRIMARY e FALLBACK mostram quais serviços falham se você remover um modelo e quais fazem fallback para outro, para que você possa priorizar a migração.
- Alcance os proprietários certos : cada nó mostra seu proprietário, para que você saiba quem notificar. Clique em um nó para abrir o objeto no Catalog Explorer.
Como a tabela de inferência de um serviço carrega sua própria linhagem, você pode expandi-la downstream para acompanhar o fluxo das cargas úteis de solicitação e resposta registradas. No exemplo a seguir, a tabela customer_support_endpoint_payload alimenta a view payload_analysis e seus consumidores downstream. Consulte linhagem de tabela.
Limitações
A linhagem de serviço captura apenas as dependências na definição de um serviço. O Unity Catalog não captura os workloads e agentes que chamam um serviço em Runtime, nem os dados que eles acessam por meio dele. As limitações que se aplicam a toda a linhagem do Unity Catalog também se aplicam.