Pular para o conteúdo principal

Modelo de feedback (obsoleto)

important

Aviso de descontinuação : O modelo de feedback, uma API experimental para coletar feedback de agentes, foi descontinuado e será removido em uma versão futura.

Ação necessária : Certifique-se de log seu modelo com MLflow 3 e usar a APIlog_feedback em vez disso.

Linha do tempo :

  • 4 de dezembro de 2025 :
    • A API experimental legada para registro de feedback não será mais compatível com agentes implantados com a versão mais recente do databricks-agents. Em vez disso, utilize a API de Avaliações do MLflow 3.
    • As tabelas legadas request_logs e assessment_logs não são mais preenchidas pelo Mosaic AI. Você pode criar sua própria tabela de substituição usando a visão materializada. Veja soluções alternativas para MLflow 2.

O modelo de feedback permite coletar, de forma programática, feedback sobre as respostas dos agentes. Quando você implanta um agente usando agents.deploy(), Databricks cria automaticamente um endpoint de modelo de feedback junto com seu agente.

Este endpoint aceita feedback estruturado (classificações, comentários, avaliações) e o logs em tabelas de inferência. No entanto, essa abordagem foi substituída pelos recursos de feedback mais robustos do MLflow 3.

Como funciona a API de feedback​

O modelo de feedback expôs um endpoint REST que aceitava feedback estruturado sobre as respostas do agente. Você enviaria o feedback por meio de uma solicitação POST para o endpoint de feedback depois que seu agente processasse uma solicitação.

Exemplo de solicitação de feedback:

Bash
curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about Lakeflow Declarative Pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

Você pode passar valores keypar adicionais ou diferentes nos campos text_assessments.ratings e retrieval_assessments.ratings para fornecer diferentes tipos de feedback. No exemplo, a carga útil de feedback indica que a resposta do agente à solicitação com ID 573d4a61-4adb-41bd-96db-0ec8cebc3744 está correta, precisa e fundamentada no contexto obtido por uma ferramenta de recuperação.

Limitações da API de feedback​

A API de feedback experimental apresenta diversas limitações:

  • Sem validação de entrada; a API sempre responde com sucesso, mesmo com entrada inválida.
  • ID de solicitação Databricks obrigatório: Você precisa passar o databricks_request_id da solicitação original do agente.
  • Dependência da tabela de inferência: o feedback é coletado usando tabelas de inferência com suas limitaçõesinerentes.
  • Tratamento de erros limitado: Sem mensagens de erro significativas para resolução de problemas.

Para obter o databricks_request_id necessário, você deve incluir {"databricks_options": {"return_trace": True}} em sua solicitação original para o endpoint de serviço do agente.

Migre para o MLflow 3​

Em vez de usar o modelo de feedback obsoleto, migre para o MLflow 3 para obter recursos abrangentes de feedback e avaliação:

  • Registro de avaliações de primeira classe com validação robusta e tratamento de erros.
  • Integração de rastreamento em tempo real para visibilidade imediata do feedback.
  • Integração do aplicativo de avaliação com recurso de colaboração aprimorado para as partes interessadas
  • Suporte ao monitoramento da produção com avaliação automatizada da qualidade.

Para migrar cargas de trabalho existentes para o MLflow 3:1:

  1. Atualize para o MLflow 3.1.3 ou acima em seu ambiente de desenvolvimento:

    Python
    %pip install mlflow>=3.1.3
    dbutils.library.restartPython()

  2. Substitua as chamadas da API de feedback pelo registro de avaliações do MLflow 3:

  3. Implante seu agente com MLflow 3:

    • O rastreamento em tempo real captura automaticamente todas as interações.
    • As avaliações são anexadas diretamente aos rastros para uma visibilidade unificada.

  4. Configurar o monitoramento da produção (opcional):

Próximos passos​

Última atualização em