Pular para o conteúdo principal

rótulo durante o desenvolvimento

Como desenvolvedor que está criando aplicativos GenAI, você precisa de uma maneira de rastrear suas observações sobre a qualidade dos resultados do seu aplicativo. O MLflow Tracing permite adicionar feedback ou expectativas diretamente aos traços durante o desenvolvimento, oferecendo uma maneira rápida de registrar problemas de qualidade, marcar exemplos bem-sucedidos ou adicionar notas para referência futura.

Pré-requisitos​

  • Seu aplicativo é instrumentado com o MLflow Tracing
  • Você gerou rastreamentos ao executar seu aplicativo

Adicionar rótulo aos rastros por meio da UI​

MLflow facilita a adição de anotação (rótulo) diretamente aos traços por meio da UI MLflow.

nota

Se estiver usando o site Databricks Notebook, o senhor também pode executar essas etapas na interface do usuário de rastreamento que é renderizada em linha no Notebook.

feedback humano

  1. Navegue até Traces tab na UI do experimento MLflow

  2. Abra um rastreamento individual

  3. Na UI de rastreamento, clique no intervalo específico que o senhor deseja rotular

    • Selecionar a extensão da raiz atribui feedback a todo o rastreamento.

  4. Expanda o site Assessments tab na extrema direita

  5. Preencha o formulário para adicionar seus comentários

    • Tipo de avaliação

      • Feedback : avaliação subjetiva da qualidade (avaliações, comentários)
      • Expectativa : A produção ou valor esperado (o que deveria ter sido produzido)

    • Nome da avaliação

      • Um nome exclusivo para o assunto do feedback

    • Tipo de dados

      • Número
      • Booleana
      • String

    • Valor

      • Sua avaliação

    • Fundamentação

      • Notas opcionais sobre o valor

  6. Clique em Create para salvar seu rótulo

  7. Quando o senhor retornar ao site Traces tab, seu rótulo aparecerá como uma nova coluna

Adicione o rótulo aos rastros por meio do SDK​

O senhor pode adicionar rótulos aos traços de forma programática usando MLflow's SDK. Isso é útil para o rótulo automatizado com base na lógica do aplicativo ou para o processamento de lotes de traços.

Para ver um conjunto completo de exemplos, consulte a página conceitual de avaliações de registro.

Python

import mlflow
@mlflow.trace
def my_app(input: str) -> str:
    return input + "_output"

my_app(input="hello")

trace_id = mlflow.get_last_active_trace_id()


# Log a thumbs up/down rating
mlflow.log_feedback(
    trace_id=trace_id,
    name="quality_rating",
    value=1,  # 1 for thumbs up, 0 for thumbs down
    rationale="The response was accurate and helpful",
    source=mlflow.entities.assessment.AssessmentSource(
        source_type=mlflow.entities.assessment.AssessmentSourceType.HUMAN,
        source_id="bob@example.com",
    ),
)

# Log expected response text
mlflow.log_expectation(
    trace_id=trace_id,
    name="expected_response",
    value="The capital of France is Paris.",
    source=mlflow.entities.assessment.AssessmentSource(
        source_type=mlflow.entities.assessment.AssessmentSourceType.HUMAN,
        source_id="bob@example.com",
    ),
)

anotação

Próximas etapas​

Continue sua jornada com estas ações recomendadas e o tutorial.

Guia de referência​

Explore a documentação detalhada dos conceitos e recursos mencionados neste guia.

Última atualização em