rótulo durante o desenvolvimento

Como desenvolvedor que está criando aplicativos GenAI, você precisa de uma maneira de rastrear suas observações sobre a qualidade dos resultados do seu aplicativo. O MLflow Tracing permite adicionar feedback ou expectativas diretamente aos traços durante o desenvolvimento, oferecendo uma maneira rápida de registrar problemas de qualidade, marcar exemplos bem-sucedidos ou adicionar notas para referência futura.

Pré-requisitos

• Seu aplicativo é instrumentado com o MLflow Tracing
• Você gerou rastreamentos ao executar seu aplicativo

Adicionar rótulo aos rastros por meio da UI

MLflow facilita a adição de anotação (rótulo) diretamente aos traços por meio da UI MLflow.

nota

Se estiver usando o site Databricks Notebook, o senhor também pode executar essas etapas na interface do usuário de rastreamento que é renderizada em linha no Notebook.

1. Navegue até Traces tab na UI do experimento MLflow

2. Abra um rastreamento individual

3. Na UI de rastreamento, clique no intervalo específico que o senhor deseja rotular

   • Selecionar a extensão da raiz atribui feedback a todo o rastreamento.

4. Expanda o site Assessments tab na extrema direita

5. Preencha o formulário para adicionar seus comentários

   • Tipo de avaliação

     • Feedback : avaliação subjetiva da qualidade (avaliações, comentários)
     • Expectativa : A produção ou valor esperado (o que deveria ter sido produzido)

   • Nome da avaliação

     • Um nome exclusivo para o assunto do feedback

   • Tipo de dados

     • Número
     • Booleana
     • String

   • Valor

     • Sua avaliação

   • Fundamentação

     • Notas opcionais sobre o valor

6. Clique em Create para salvar seu rótulo

7. Quando o senhor retornar ao site Traces tab, seu rótulo aparecerá como uma nova coluna

Adicione o rótulo aos rastros por meio do SDK

O senhor pode adicionar rótulos aos traços de forma programática usando MLflow's SDK. Isso é útil para o rótulo automatizado com base na lógica do aplicativo ou para o processamento de lotes de traços.

Para ver um conjunto completo de exemplos, consulte a página conceitual de avaliações de registro.

Python

import mlflow
@mlflow.trace
def my_app(input: str) -> str:
    return input + "_output"

my_app(input="hello")

trace_id = mlflow.get_last_active_trace_id()


# Log a thumbs up/down rating
mlflow.log_feedback(
    trace_id=trace_id,
    name="quality_rating",
    value=1,  # 1 for thumbs up, 0 for thumbs down
    rationale="The response was accurate and helpful",
    source=mlflow.entities.assessment.AssessmentSource(
        source_type=mlflow.entities.assessment.AssessmentSourceType.HUMAN,
        source_id="bob@example.com",
    ),
)

# Log expected response text
mlflow.log_expectation(
    trace_id=trace_id,
    name="expected_response",
    value="The capital of France is Paris.",
    source=mlflow.entities.assessment.AssessmentSource(
        source_type=mlflow.entities.assessment.AssessmentSourceType.HUMAN,
        source_id="bob@example.com",
    ),
)

Próximas etapas

Continue sua jornada com estas ações recomendadas e o tutorial.

• Coletar feedback de especialistas no domínio - Estabelecer sessões estruturadas de rótulo
• Crie um conjunto de dados de avaliação - Use os traços do rótulo para criar um conjunto de dados de teste
• Coletar feedback do usuário final - Capturar feedback dos aplicativos implantados

Guia de referência

Explore a documentação detalhada dos conceitos e recursos mencionados neste guia.

• Avaliações de registro - Mergulhe profundamente nos tipos de avaliação e no uso
• Modelo de dados de rastreamento - Entenda como as avaliações são vinculadas aos rastreamentos
• rótulo schemas - Saiba mais sobre a coleta de feedback estruturado