Pular para o conteúdo principal
Última atualização em

Teste uma versão do aplicativo com a interface de bate-papo do aplicativo de avaliação.

O aplicativo MLflow Review inclui uma interface de bate-papo integrada que permite que especialistas da área testem interativamente seu aplicativo GenAI e forneçam feedback imediato. Use a interface de bate-papo como uma forma de avaliar a receptividade do seu aplicativo.

Revise a interface do bate-papo do aplicativo

Quando usar os testes de interface de chat​

O teste de interface de chat é ideal quando você deseja:

  • Teste fluxos de conversa e interações de múltiplas etapas com especialistas da área.
  • Reúna feedback de especialistas sobre as respostas e o comportamento dos candidatos.
  • Valide as atualizações em um ambiente seguro antes da implementação em produção.

Pré-requisitos​

  • MLflow e o pacote necessário devem estar instalados. O recurso descrito neste guia requer a versão 3.1.0 MLflow ou superior. Execute o seguinte comando para instalar ou atualizar o SDK MLflow , incluindo os extras necessários para a integração Databricks :

    Bash
    pip install --upgrade "mlflow[databricks]>=3.1.0" openai "databricks-connect>=16.1"

  • Seu ambiente de desenvolvimento deve estar conectado ao experimentoMLflow , onde os rastreamentos do seu aplicativo GenAI são registrados.

  • Especialistas no domínio precisam das seguintes permissões para usar a interface de bate-papo do aplicativo de avaliação:

    • Acesso à conta : É necessário ter permissão de acesso à sua account Databricks , mas não é preciso ter acesso ao seu workspace.

      Para usuários sem acesso workspace , os administradores account podem:

      • Use o provisionamento SCIM em nível accountpara sincronizar usuários do seu provedor de identidade.
      • Registrar manualmente usuários e grupos no Databricks

      Consulte a seção Gerenciamento de usuários e grupos para obter detalhes.

    • Acesso ao endpoint : Permissão CAN_QUERY para o endpoint do modelo de serviço.

Configure e colete feedback com a interface de chat.​

A interface de chat do aplicativo MLflow Review conecta-se a uma versão implantada do seu aplicativo GenAI, permitindo que especialistas da área conversem com o seu aplicativo e forneçam feedback imediato. Siga estes passos para configurar a interface de chat e coletar feedback:

  1. Empacote seu aplicativo usando o Agent Framework e implante-o usando o Agent Framework como um endpoint de modelo de serviço.

  2. Adicione o endpoint ao aplicativo de revisão do seu experimento:

nota

O exemplo abaixo adiciona um LLM hospedado no Databricks ao aplicativo de revisão. Substitua o endpoint pelo endpoint do seu aplicativo da etapa 1.

Python
from mlflow.genai.labeling import get_review_app

# Get review app for current MLflow experiment
review_app = get_review_app()

# Connect your deployed agent endpoint
review_app.add_agent(
    agent_name="claude-sonnet",
    model_serving_endpoint="databricks-claude-3-7-sonnet",
)

print(f"Share this URL: {review_app.url}/chat")
  1. Após a configuração, compartilhe o URL do aplicativo de avaliação com seus especialistas de domínio. Eles poderão:
  • Acesse a interface de bate-papo através do navegador da web.
  • Interaja com o aplicativo digitando perguntas.
  • Forneça feedback após cada resposta usando os controles de feedback integrados.
  • Continue a conversa para testar várias interações.

Análise da renderização do conteúdo do aplicativo​

A interface de chat utiliza consultas de especialistas no domínio como entrada, respostas de agentes endpoint real como saída e armazena os resultados em rastreamentos MLflow . Não é necessário fornecer um esquema de rótulos personalizado, pois essa abordagem utiliza perguntas de feedback fixas.

O aplicativo Review renderiza automaticamente diferentes tipos de conteúdo a partir do seu rastreamento MLflow:

  • Documentos recuperados : Os documentos dentro de um intervaloRETRIEVER são renderizados para exibição.

  • Mensagens no formato OpenAI : Entradas e saídas do MLflow Trace, seguindo as conversas do chat OpenAI, são renderizadas:

  • Dicionários : As entradas e saídas do MLflow Trace que são dicionários são renderizadas como JSONs formatados.

Caso contrário, o conteúdo de input e output do intervalo raiz de cada traço é usado como conteúdo primário para revisão.

Ver comentários do chat​

Todas as interações e feedbacks coletados por meio da interface de chat são capturados automaticamente como registros no MLflow.

Para view os registros das interações de bate-papo:

  1. Navegue até a interface do usuário do MLflow.
  2. Encontre o experimento associado à sua sessão do aplicativo Review.
  3. Navegue pelos rastros para ver o histórico completo da conversa.
  4. Analise o feedback associado a cada resposta.

Próximos passos​