Visualize os rastreamentos na interface do usuário Databricks MLflow .

Todos os rastreamentos capturados são registros de um experimento MLflow . Você pode acessá-los através da interface do usuário MLflow em seu workspace Databricks .

dica

Os rastreamentos são armazenados e fornecidos pelo serviço de acompanhamento MLflow no seu workspace Databricks quando MLFLOW_TRACKING_URI é definido como databricks. Este backend pronto para produção não requer hospedagem adicional. Veja Agentes de rastreamento implantados no Databricks.

1. Navegue até seu experimento : Vá para o experimento onde seus rastreamentos são registros (por exemplo, aquele definido por mlflow.set_experiment("/Shared/my-genai-app-traces")).
2. Abra a aba "Traces" : Na view do experimento, clique na tab "Traces". Isso exibe uma lista de todos os registros de rastreamento para esse experimento.

Entenda a lista de rastreamento

A lista de rastreamento fornece uma visão geral de alto nível dos seus rastreamentos, com colunas classificáveis que normalmente incluem:

• ID de rastreamento : O identificador exclusivo para cada rastreamento.
• Solicitação : Uma prévia da entrada inicial que desencadeou o rastreamento.
• Resposta : Uma prévia do resultado final do rastreamento.
• Sessão : O identificador da sessão, se fornecido, que agrupa registros relacionados (por exemplo, em uma conversa).
• Usuário : O identificador do usuário, se fornecido.
• Tempo de execução : Tempo total necessário para a conclusão do rastreamento.
• Hora da solicitação : O registro de data e hora em que o rastreamento foi iniciado.
• Nome da execução : Se o rastreamento estiver associado a uma execução do MLflow, o nome dela será exibido aqui, criando a ligação entre elas.
• Fonte : A origem do rastreamento, geralmente indicando a biblioteca ou componente instrumentado (por exemplo, openai, langchain ou um nome de rastreamento personalizado).
• Estado : O estado atual do rastreamento (ex.: OK, ERROR, IN_PROGRESS).
• Nome do rastreamento : O nome específico atribuído a este rastreamento, geralmente o nome do intervalo raiz.
• Avaliações : Colunas individuais para cada tipo de avaliação (ex.: my_scorer, professional). A interface do usuário também costuma exibir uma seção de resumo acima da lista, mostrando métricas de avaliação agregadas (como médias ou taxas de aprovação/reprovação) nos registros atualmente visíveis.
• tags : tags individuais podem ser exibidas como colunas (por exemplo, persona, style). Também pode estar presente uma contagem resumida das tags.

Pesquisar e filtrar rastros

A interface do usuário oferece diversas maneiras de encontrar e focar em rastros relevantes:

• Barra de pesquisa (geralmente rotulada como "Pesquisar avaliações por solicitação" ou similar): Isso permite encontrar rapidamente rastros pesquisando o conteúdo do campo Request (entrada).

• Menu suspenso "Filtros" : Para uma filtragem mais estruturada, use o dropdown "Filtros". Normalmente, isso permite criar consultas com base em:

  • Atributos : Como conteúdo Request , Session time, Execution time ou Request time.
  • Avaliações : Filtre pela presença ou valores específicos de avaliações como my_scorer ou professional.
  • Outros campos como State, Trace name, Session, User e Tags (por exemplo, tags.persona = 'expert').

• Menu suspenso de classificação : Use o dropdown "Classificar" para ordenar os rastreamentos por várias colunas, como Request time, Execution time, etc.

• Menu suspenso de colunas : personalize quais colunas são visíveis na lista de rastreamento, incluindo tags específicas ou métricas de avaliação.

Filtros de metadados

Na interface do usuário MLflow ( tab Rastreamento), você pode view os metadados anexados:

Filtre os rastreamentos na interface do usuário do MLflow usando estas consultas de pesquisa:

# Find all traces for a specific user
metadata.`mlflow.trace.user` = 'user-123'

# Find all traces in a session
metadata.`mlflow.trace.session` = 'session-abc-456'

# Find traces for a user within a specific session
metadata.`mlflow.trace.user` = 'user-123' AND metadata.`mlflow.trace.session` = 'session-abc-456'

# Find traces from production environment
metadata.`mlflow.source.type` = 'production'

# Find traces from a specific app version
metadata.app_version = '1.0.0'

Explore um rastro individual

Para analisar detalhadamente um rastreamento específico, clique no nome da solicitação ou do rastreamento na lista. Isso abre a view detalhada do rastreamento, que normalmente possui alguns painéis principais:

1. Detalhamento do traçado (Painel Esquerdo) :

   • Este painel (geralmente intitulado "Detalhamento do rastreamento") exibe a hierarquia do intervalo como um gráfico de árvore ou cascata. Mostra todas as operações (spans) dentro do rastreamento, suas relações pai-filho e sua ordem e duração de execução.
   • Você pode selecionar trechos individuais dessa análise para examinar seus detalhes específicos.

2. Detalhes da extensão (painel central) :

   • Quando um trecho é selecionado na análise de rastreamento, este painel exibe suas informações detalhadas, geralmente organizadas em guias como:

     • Chat : Para interações LLM baseadas em chat, esta tab geralmente fornece uma view renderizada do fluxo da conversa (mensagens do usuário, assistente e ferramenta).

     

     • Entradas/Saídas : Exibe os dados brutos de entrada passados para as operações e os dados brutos de saída retornados. Para conteúdo extenso, uma opção "Ver mais" / "Ver menos" pode estar disponível para expandir ou recolher a view.

     

     • Atributos : Mostra metadados key-valor específicos do intervalo (por exemplo, model nome, temperature para uma chamada LLM ; doc_uri para um intervalo de recuperação).

     

     • Eventos : Para os intervalos que apresentaram erros, esta tab normalmente exibe detalhes da exceção e rastreamentos de pilha. Para intervalos de transmissão, pode mostrar blocos de dados individuais conforme foram gerados.

     • Alguns campos de saída também podem ter uma opção Markdown para alternar entre a visualização bruta e a renderizada, caso o conteúdo esteja em formato Markdown.

3. Avaliações (Painel Direito) :

   • Este painel exibe todas as avaliações (feedback ou avaliações do usuário) que foram registradas para todo o rastreamento ou para o intervalo atualmente selecionado .
   • Fundamentalmente, este painel geralmente inclui um botão "+ Adicionar nova avaliação" , permitindo que você log novos feedbacks ou pontuações de avaliação diretamente da interface do usuário enquanto revisa um rastreamento. Isto é muito útil para revisão manual e fluxo de trabalho do rótulo.

   

Informações em nível de rastreamento : além dos detalhes individuais do intervalo, a view também fornece acesso a informações gerais de rastreamento. Isso inclui tags de nível de rastreamento e quaisquer registros de avaliações para todo o rastreamento (geralmente visíveis no painel Avaliações quando nenhum intervalo específico ou o intervalo raiz é selecionado), que podem ter origem em feedback direto do usuário ou em avaliações sistemáticas.

Cenários comuns de depuração

Veja como você pode usar a interface MLflow Tracing para atender às necessidades comuns de rastreamento e observabilidade:

1. Identificar rastreamentos lentos (gargalos de latência) :

   • Na visualização Lista de Rastreamentos : Use o dropdown "Classificar" para classificar os rastreamentos por "Tempo de execução" em ordem decrescente. Isso fará com que os traços mais lentos subam à superfície.
   • Na visualização de rastreamento detalhado : Depois de abrir um rastreamento lento, examine o painel "Detalhamento do rastreamento". A visualização em cascata dos intervalos destacará visualmente as operações que levaram mais tempo, ajudando você a identificar gargalos de latência no fluxo do seu aplicativo.

   

2. Encontrar rastros de um usuário específico :

   • Usar filtros : Se você tiver informações de usuários rastreadas e elas estiverem disponíveis como uma opção de filtro (por exemplo, em "Atributos" ou em um filtro "Usuário" específico no dropdown "Filtros"), você poderá selecionar ou inserir o ID do usuário.
   • Use a pesquisa e as tags : Alternativamente, se os IDs de usuário forem armazenados como tags (por exemplo, mlflow.trace.user), use a barra de pesquisa com uma consulta como tags.mlflow.trace.user = 'user_example_123'.

   

3. Localizar rastros com falhas (erros) :

   • Usar filtros : No dropdown "Filtros", selecione o atributo State e escolha ERROR para ver apenas os rastreamentos que falharam.
   • Na visualização de Rastreamento Detalhado : Para um rastreamento de erro, selecione o trecho marcado com um erro em "Detalhamento do rastreamento". Acesse a tab "Eventos" no painel Detalhes do Span para view a mensagem de exceção e o rastreamento de pilha, que são cruciais para diagnosticar a causa raiz da falha.

   

4. Identificar rastros com feedback negativo ou problemas :

   • Use filtros de avaliação : Se você estiver coletando feedback do usuário ou executando avaliações que resultam em avaliações (por exemplo, um booleano is_correct ou um numérico relevance_score), o dropdown "Filtros" pode permitir que você filtre por esses nomes de avaliação e seus valores (por exemplo, filtrar por is_correct = false ou relevance_score < 0.5).
   • Visualizar avaliações : Abra um rastreamento e verifique o painel "Avaliações" (à direita na view detalhada) ou as avaliações de período individuais. Isso mostrará todos os registros, feedbacks, pontuações e justificativas, ajudando você a entender por que uma resposta foi classificada como de baixa qualidade.

   

Esses exemplos demonstram como as informações detalhadas capturadas pelo MLflow Tracing, combinadas com os recursos de visualização e filtragem da interface do usuário, permitem depurar problemas com eficiência e observar o comportamento do aplicativo.

Rastreamento no Notebook Databricks

MLflow Tracing oferece uma experiência integrada no Databricks Notebook, permitindo que você view os rastreamentos diretamente como parte do seu fluxo de trabalho de desenvolvimento e experimentação.

nota

A integração MLflow Tracing Databricks Notebook está disponível no MLflow 2.20 e versões superiores.

Ao trabalhar em um Notebook Databricks e seu URI de acompanhamento MLflow estiver definido como "databricks" (que geralmente é o default ou pode ser definido usando mlflow.set_tracking_uri("databricks")), a interface do usuário de rastreamento pode ser exibida automaticamente na saída de uma célula.

Isso normalmente ocorre quando:

1. A execução do código de uma célula gera um rastreamento (por exemplo, chamando uma função decorada com @mlflow.trace ou uma chamada de biblioteca instrumentada automaticamente).
2. Você chama explicitamente mlflow.search_traces() e o resultado é exibido.
3. Um objeto mlflow.entities.Trace (por exemplo, de mlflow.get_trace() é a última expressão em uma célula ou é passado para display().

Essa view no Notebook oferece os mesmos recursos avançados e interativos de exploração de rastreamento encontrados na interface principal MLflow Experiments, ajudando você a iterar mais rapidamente sem precisar alternar entre contextos.

Controle a tela do notebook

Para ativar ou desativar a exibição automática de rastreamentos nas saídas das células do Notebook, execute: mlflow.tracing.disable_notebook_display() ou mlflow.tracing.enable_notebook_display()

Próximos passos

• Consultar rastreamentos via SDK – Pesquise e analise programaticamente rastreamentos para fluxo de trabalho personalizado
• Criar conjunto de dados de avaliação - Selecionar e converter rastros em dados de teste para avaliação sistemática e melhoria da qualidade.