Marcadores

Os avaliadores avaliam a qualidade do aplicativo GenAI analisando resultados e produzindo feedback estruturado. O mesmo marcador pode ser usado para avaliação em desenvolvimento e reutilizado para monitoramento em produção. Os marcadores incluem:

• LLMintegrado - como avaliadores de juízes
• Avaliadores personalizados de LLM como juiz
• Pontuadores baseados em código personalizado

A captura de tela da interface do usuário MLflow abaixo ilustra as saídas de um scorer integrado Safety e um scorer personalizado exact_match:

O trecho de código abaixo calcula essas métricas usando mlflow.genai.evaluate() e então registra os mesmos scorers para monitoramento de produção:

Python

import mlflow
from mlflow.genai.scorers import Safety, ScorerSamplingConfig, scorer
from typing import Any

@scorer
def exact_match(outputs: str, expectations: dict[str, Any]) -> bool:
    # Example of a custom code-based scorer
    return outputs == expectations["expected_response"]

# Evaluation during development
eval_results = mlflow.genai.evaluate(
    data=eval_dataset,
    predict_fn=my_app,
    scorers=[Safety(), exact_match]
)

# Production monitoring - same scorers!
registered_scorers = [
  Safety().register(),
  exact_match.register(),
]
registered_scorers = [
    reg_scorer.start(
        sampling_config=ScorerSamplingConfig(sample_rate=0.1)
    )
    for reg_scorer in registered_scorers
]

Próximos passos

• Use pontuadores LLM integrados - comece a avaliar seu aplicativo rapidamente com pontuadores LLMintegrados como juiz
• Criação de avaliadores de LLM personalizados - Personalize avaliadores de LLM como juiz para sua aplicação específica
• Crie marcadores personalizados baseados em código - Crie marcadores baseados em código, incluindo possíveis entradas, saídas e tratamento de erros
• Avaliação de desempenho - Entenda como mlflow.genai.evaluate() usa seus marcadores
• Monitoramento de produção para GenAI - implantei seus pontuadores para monitoramento contínuo