Guia de início rápido do feedback humano
Este início rápido mostra como coletar feedback do usuário final, adicionar anotação do desenvolvedor, criar sessões de revisão de especialistas e usar esse feedback para avaliar a qualidade do seu aplicativo GenAI.
Ele abrange as seguintes etapas do ciclo de vida do feedback humano:
- Instrumentar um aplicativo GenAI com rastreamento de MLflow.
- Coletar feedback do usuário final (neste exemplo, o feedback do usuário final é simulado usando o SDK).
- Adicione feedback do desenvolvedor de forma interativa por meio da interface do usuário.
- visualizar o feedback junto com seus traços.
- Criar uma sessão de rótulo para revisão estruturada de especialistas.
- Use o feedback de especialistas para avaliar a qualidade do aplicativo.
Todo o código desta página está incluído no Notebook de exemplo.
Pré-requisitos
-
Instale o site MLflow e o pacote necessário
Bashpip install --upgrade "mlflow[databricks]>=3.1.0" openai "databricks-connect>=16.1"
-
Crie um experimento MLflow seguindo o início rápido de configuração do ambiente.
Etapa 1: criar e rastrear um aplicativo simples
Primeiro, crie um aplicativo GenAI simples usando um LLM com rastreamento de MLflow.
import mlflow
from openai import OpenAI
# Enable automatic tracing for all OpenAI API calls
mlflow.openai.autolog()
# Connect to a Databricks LLM via OpenAI using the same credentials as MLflow
# Alternatively, you can use your own OpenAI credentials here
mlflow_creds = mlflow.utils.databricks_utils.get_databricks_host_creds()
client = OpenAI(
api_key=mlflow_creds.token,
base_url=f"{mlflow_creds.host}/serving-endpoints"
)
# Create a RAG app with tracing
@mlflow.trace
def my_chatbot(user_question: str) -> str:
# Retrieve relevant context
context = retrieve_context(user_question)
# Generate response using LLM with retrieved context
response = client.chat.completions.create(
model="databricks-claude-3-7-sonnet", # If using OpenAI directly, use "gpt-4o" or "gpt-3.5-turbo"
messages=[
{"role": "system", "content": "You are a helpful assistant. Use the provided context to answer questions."},
{"role": "user", "content": f"Context: {context}\n\nQuestion: {user_question}"}
],
temperature=0.7,
max_tokens=150
)
return response.choices[0].message.content
@mlflow.trace(span_type="RETRIEVER")
def retrieve_context(query: str) -> str:
# Simulated retrieval - in production, this would search a vector database
if "mlflow" in query.lower():
return "MLflow is an open-source platform for managing the end-to-end machine learning lifecycle. It provides tools for experiment tracking, model packaging, and deployment."
return "General information about machine learning and data science."
# Run the app to generate a trace
response = my_chatbot("What is MLflow?")
print(f"Response: {response}")
# Get the trace ID for the next step
trace_id = mlflow.get_last_active_trace_id()
print(f"Trace ID: {trace_id}")
Etapa 2: coletar feedback do usuário final
Quando os usuários interagem com seu aplicativo, eles podem fornecer feedback por meio de elementos da interface, como botões de polegar para cima/para baixo. Este início rápido simula um usuário final dando feedback negativo usando o SDK diretamente.
import mlflow
from mlflow.entities.assessment import AssessmentSource, AssessmentSourceType
# Simulate end-user feedback from your app
# In production, this would be triggered when a user clicks thumbs down in your UI
mlflow.log_feedback(
trace_id=trace_id,
name="user_feedback",
value=False, # False for thumbs down - user is unsatisfied
rationale="Missing details about MLflow's key features like Projects and Model Registry",
source=AssessmentSource(
source_type=AssessmentSourceType.HUMAN,
source_id="enduser_123", # Would be actual user ID in production
),
)
print("End-user feedback recorded!")
# In a real app, you would:
# 1. Return the trace_id with your response to the frontend
# 2. When user clicks thumbs up/down, call your backend API
# 3. Your backend would then call mlflow.log_feedback() with the trace_id
Etapa 3: visualizar o feedback na UI
Inicie a interface de usuário do MLflow para ver seus traços com feedback:
- Navegue até seu experimento MLflow.
- Navegue até o site Traces tab.
- Clique no seu rastreamento.
- A caixa de diálogo de detalhes do rastreamento é exibida. Em Avaliações , no lado direito da caixa de diálogo, o
user_feedback
mostrafalse
, indicando que o usuário marcou a resposta com o polegar para baixo.
Etapa 4: Adicionar anotação de desenvolvedor por meio da UI
Como desenvolvedor, você também pode adicionar seus próprios comentários e notas diretamente na interface do usuário:
-
Em Traces (Rastreamentos ) tab, clique em um rastreamento para abri-lo.
-
Clique em qualquer extensão (escolha a extensão raiz para feedback em nível de rastreamento).
-
Em Assessments (Avaliações ) tab, à direita, clique em Add new assessment (Adicionar nova avaliação ) e preencha os dados a seguir:
- Digite :
Feedback
ouExpectation
. - Nome : por exemplo, " accuracy_score ".
- Valor : Sua avaliação.
- Justificativa : Explicação opcional.
- Digite :
-
Clique em Criar .
Depois que o senhor acessar refresh a página, as colunas para as novas avaliações aparecerão na tabela Traces.
Etapa 5: enviar rastreamento para análise de um especialista
O feedback negativo do usuário final da Etapa 2 indica um possível problema de qualidade, mas somente especialistas do domínio podem confirmar se realmente há um problema e fornecer a resposta correta. Crie uma sessão de rótulo para obter feedback de especialistas autorizados:
import mlflow
from mlflow.genai.label_schemas import create_label_schema, InputCategorical, InputText
from mlflow.genai.labeling import create_labeling_session
# Define what feedback to collect
accuracy_schema = create_label_schema(
name="response_accuracy",
type="feedback",
title="Is the response factually accurate?",
input=InputCategorical(options=["Accurate", "Partially Accurate", "Inaccurate"]),
overwrite=True
)
ideal_response_schema = create_label_schema(
name="expected_response",
type="expectation",
title="What would be the ideal response?",
input=InputText(),
overwrite=True
)
# Create a labeling session
labeling_session = create_labeling_session(
name="quickstart_review",
label_schemas=[accuracy_schema.name, ideal_response_schema.name],
)
# Add your trace to the session
# Get the most recent trace from the current experiment
traces = mlflow.search_traces(
max_results=1 # Gets the most recent trace
)
labeling_session.add_traces(traces)
# Share with reviewers
print(f"Trace sent for review!")
print(f"Share this link with reviewers: {labeling_session.url}")
Os revisores especialistas agora podem fazer o seguinte:
- Abra o URL do aplicativo de avaliação.
- Veja seu rastreamento com a pergunta e a resposta (incluindo qualquer feedback do usuário final).
- Avalie se a resposta é realmente precisa.
- Forneça a resposta correta em
expected_response
, se necessário. - Envie suas avaliações de especialistas como verdade fundamental.
O senhor também pode usar a interface de usuário do MLflow 3 para criar uma sessão de rótulo, como segue:
- Na página do experimento, clique no rótulo tab.
- À esquerda, use a guia Sessions and Schemas para adicionar um novo esquema de rótulo e criar uma nova sessão.
Etapa 6: use o feedback para avaliar seu aplicativo
Depois que os especialistas fornecerem feedback, use o expected_response
rótulo deles para avaliar seu aplicativo com o Corretor de Correção do MLflow:
Este exemplo usa diretamente os rastreamentos para avaliação. Em seu aplicativo, o site Databricks recomenda adicionar traços de rótulo a um conjunto de dados de avaliação MLflow que fornece acompanhamento e linhagem de versão. Consulte o guia de criação de sets de avaliação.
import mlflow
from mlflow.genai.scorers import Correctness
# Get traces from the labeling session
labeled_traces = mlflow.search_traces(
run_id=labeling_session.mlflow_run_id, # Labeling Sessions are MLflow Runs
)
# Evaluate your app against expert expectations
eval_results = mlflow.genai.evaluate(
data=labeled_traces,
predict_fn=my_chatbot, # The app we created in Step 1
scorers=[Correctness()] # Compares outputs to expected_response
)
O marcador de correção compara os resultados do seu aplicativo com o expected_response
fornecido por especialistas, fornecendo feedback quantitativo sobre o alinhamento com as expectativas dos especialistas.
Exemplo de notebook
O Notebook a seguir inclui todo o código desta página.
Caderno de início rápido de feedback humano
Próximas etapas
Continue sua jornada com estas ações recomendadas e o tutorial.
- Criar um conjunto de dados de avaliação - Criar um conjunto de dados de teste abrangente a partir do feedback da produção
- rótulo during development - Aprenda técnicas avançadas de anotação para desenvolvimento
- Colete feedback de especialistas do domínio - Configure processos sistemáticos de revisão de especialistas
Guia de referência
Para obter mais detalhes sobre os conceitos e recursos mencionados neste início rápido, consulte o seguinte:
- Aplicativo de revisão - Entenda a interface de feedback humano do MLflow
- rótulo Sessions - Saiba como funcionam as sessões de avaliação de especialistas
- rótulo Schemas - Explore a estrutura e os tipos de feedback