Pular para o conteúdo principal
Última atualização em

Modelo de Feedback (descontinuado)

info

Para novos casos de uso, a Databricks recomenda implantar agentes em Databricks Apps para controle total sobre o código do agente, a configuração do servidor e o fluxo de trabalho de implantação. Consulte Criar um agente de AI e implantá-lo em Databricks Apps. Para migrar um agente existente, consulte Migrar um agente de Model Serving para Databricks Apps.

importante

Aviso de descontinuação : O modelo de feedback foi descontinuado a partir de 4 de dezembro de 2025 e não é mais compatível na versão mais recente dos agentes do Databricks.

Ação necessária : Use o MLflow 3 para registrar seu modelo 3. Então, use a log_feedback API e a API de Avaliações do MLflow 3 para coletar feedback.

O modelo de feedback permite coletar feedback sobre as respostas do agente programaticamente. Quando se implanta um agente usando agents.deploy(), o Databricks cria automaticamente um Endpoint de modelo de feedback junto com o agente.

Este endpoint aceita feedback estruturado (avaliações, comentários, análises) e o Logs em tabelas de inferência. No entanto, esta abordagem foi substituída pelas capacidades de feedback mais robustas do MLflow 3.

Migrar para o MLflow 3​

Em vez de usar o modelo de feedback obsoleto, migre para o MLflow 3 para recursos abrangentes de feedback e avaliação:

  • Registro de avaliação de primeira classe com validação robusta e tratamento de erros
  • Integração de rastreamento em tempo real para visibilidade imediata do feedback
  • Integração do Review App com recursos aprimorados de colaboração entre stakeholders
  • Suporte ao monitoramento de produção com avaliação de qualidade automatizada

Para migrar cargas de trabalho existentes para o MLflow 3:

  1. Atualizar para o MLflow 3.1.3 ou acima no seu ambiente de desenvolvimento:

    Python
    %pip install mlflow>=3.1.3
    dbutils.library.restartPython()

  2. Ative o Review App para a coleta de feedback das partes interessadas.

  3. Substitua as chamadas de API de feedback por registro de avaliação do MLflow 3.

  4. Implante seu agente com MLflow 3:

    • O rastreamento em tempo real captura automaticamente todas as interações
    • As avaliações são anexadas diretamente aos rastreamentos para visibilidade unificada.

  5. Configurar monitoramento de produção (opcional):

Como a API de feedback funciona (descontinuado)​

O modelo de feedback expôs um endpoint REST que aceitava feedback estruturado sobre as respostas do agente. Você enviaria feedback via uma solicitação POST para o endpoint de feedback depois que seu agente processasse uma solicitação.

Exemplo de solicitação de feedback:

Bash
curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

Você pode passar pares key-value adicionais ou diferentes nos campos text_assessments.ratings e retrieval_assessments.ratings para fornecer diferentes tipos de feedback. No exemplo, a carga de feedback indica que a resposta do agente à solicitação com ID 573d4a61-4adb-41bd-96db-0ec8cebc3744 está correta, precisa e fundamentada no contexto obtido por uma ferramenta de recuperação.

Limitações da API de feedback​

A API de feedback experimental tem várias limitações:

  • Nenhuma validação de entrada; A API sempre responde com sucesso, mesmo com entrada inválida
  • ID de solicitação do Databricks obrigatório: É necessário passar o databricks_request_id da solicitação do agente original.
  • Dependência de tabela de inferência: o feedback é coletado usando tabelas de inferência com suas limitaçõesinerentes.
  • Tratamento de erros limitado: Sem mensagens de erro significativas para solução de problemas.

Para obter o databricks_request_id exigido, você deve incluir {"databricks_options": {"return_trace": True}} na sua solicitação original para o Endpoint de serviço do agente.

Outros recursos​

Nesta página