Pular para o conteúdo principal
Última atualização em

Criar uma visualização de rastreamento personalizada

nota

Esse recurso está em Beta.

Uma view de rastreamento personalizada é uma disposição personalizada no explorador de rastreamento do MLflow no Databricks. Em vez das tabs default, ela exibe os campos de rastreamento, métricas e controles de feedback que são mais importantes para o seu fluxo de trabalho de revisão.

As views personalizadas são assistidas por AI: você descreve a disposição que deseja em linguagem simples, e o Genie a gera para você. Nenhuma codificação é necessária. Cada view é um padrão agnóstico de rastreamento que se vincula automaticamente a cada rastreamento no experimento, para que você crie uma disposição uma vez e a reutilize em todos os seus rastreamentos.

As views personalizadas são úteis quando você deseja:

  • Exiba um pequeno conjunto de campos de alto sinal para uma revisão focada, em vez de verificar toda a árvore de span.
  • Apresente a mesma disposição para cada revisor que trabalha em um experimento.
  • Adicione controles de feedback interativos para que os revisores possam pontuar os rastreamentos diretamente enquanto os leem.

Criar uma view personalizada​

  1. Abra um rastreamento a partir da tab Rastreamentos . Para obter detalhes sobre como encontrar e abrir rastreamentos, consulte Visualizar rastreamentos na IU do MLflow do Databricks.
  2. Selecione a tab Custom view no explorador de rastreamento.
  3. Na caixa de texto, descreva a disposição desejada em linguagem simples. Por exemplo, descreva quais campos de rastreamento exibir, quais métricas resumir e quais controles de feedback incluir.
  4. Clique em Build with Genie . O Genie gera uma disposição a partir da sua descrição. Para refiná-lo, clique em Editar com o Genie e descreva as alterações que deseja.
  5. Clique em Salvar . O MLflow armazena views salvas com o experimento, e elas ficam disponíveis para cada rastreamento nesse experimento.

Para criar views adicionais, abra o seletor de views e selecione Create view .

Exibir componentes​

Ao descrever uma disposição, o Genie a monta a partir de um conjunto de componentes de exibição:

  • Cartão de estatísticas : exibe uma única métrica ou valor, como latência, contagem de tokens ou uma pontuação calculada.
  • Painel de avaliação : exibe as avaliações registradas para um rastreamento, incluindo feedback e resultados de avaliação.
  • Visualizador de par key-value : Exibe campos estruturados do rastreamento como pares key-value.
  • Primitivas de disposição : organize os componentes em linhas, colunas e seções.

Adicionar controles de feedback​

Você pode adicionar controles interativos a uma view personalizada para que os revisores possam pontuar e comentar sobre rastreamentos diretamente na disposição. Os controles disponíveis incluem:

  • Botões de aprovação e desaprovação para aprovação ou rejeição rápida.
  • Grupos de rádio para selecionar uma opção de um conjunto.
  • Entradas de texto para comentários de formato livre ou justificativa.

O MLflow registra esse feedback no rastreamento como uma avaliação, para que ele apareça junto com outras avaliações e esteja disponível para avaliação e monitoramento.

Gerenciar views salvas​

As views são compartilhadas no nível do experimento, portanto, qualquer pessoa com permissão para visualizar o experimento vê o mesmo conjunto de views personalizadas. O MLflow armazena views como tags de experimento.

No explorador de rastreamento, você pode:

  • Alternar views
  • Renomear uma view
  • Excluir uma view

Como as views são padrões agnósticos de rastreamento, alternar views altera apenas a disposição. Os dados de rastreamento subjacentes permanecem os mesmos, e a view selecionada é vinculada novamente a qualquer rastreamento que você abrir em seguida.

Permissões​

O acesso a views personalizadas segue as permissões do experimento:

  • CAN EDIT ou CAN MANAGE: criar, renomear e excluir views personalizadas.
  • CAN READ: Visualizar e alternar entre views salvas, mas não criar, renomear ou excluí-las.

Limitações​

  • Cada experimento pode armazenar um máximo de 50 views salvas.
  • Cada view tem um limite de aproximadamente 20.000 bytes UTF-8. view maiores são compactadas para caber dentro do limite.
  • Uma view cuja definição armazenada está corrompida aparece como um espaço reservado até que você a reconstrua.

Outros recursos​

Nesta página