Pular para o conteúdo principal
Última atualização em

Modelo de feedback (descontinuado)

info

Para novos casos de uso, a Databricks recomenda implantar agentes no Databricks Apps para controle total sobre o código do agente, a configuração do servidor e o fluxo de trabalho de implantação. Consulte Crie um agente de AI e o tenha implantado no Databricks Apps. Para migrar um agente existente, consulte Migre um agente do Model Serving para o Databricks Apps.

importante

**Aviso de descontinuação**: o modelo de feedback foi descontinuado em 4 de dezembro de 2025 e não tem mais suporte na versão mais recente do databricks-agents.

Ação necessária : em vez disso, use o MLflow 3 para log seu modelo 3. Em seguida, use a log_feedback API e a API de Avaliações do MLflow 3 para coletar feedback.

O modelo de feedback permite coletar programaticamente feedback sobre as respostas do agente. Ao implantar um agente usando agents.deploy(), o Databricks cria automaticamente um endpoint de modelo de feedback junto com seu agente.

Este endpoint aceita feedback estruturado (avaliações, comentários, análises) e faz o log em tabelas de inferência. No entanto, esta abordagem foi substituída pelos recursos de feedback mais robustos do MLflow 3.

Migrar para o MLflow 3​

Em vez de usar o modelo de feedback obsoleto, migre para o MLflow 3 para obter recursos abrangentes de feedback e avaliação:

  • **Registro de avaliação de primeira classe** com validação robusta e tratamento de erros.
  • Integração de rastreamento em tempo real para visibilidade imediata do feedback
  • Integração do Aplicativo de Revisão com recursos aprimorados de colaboração entre as partes interessadas
  • **Suporte de monitoramento de produção** com avaliação de qualidade automatizada

Para migrar cargas de trabalho existentes para o MLflow 3:

  1. Atualize para o MLflow 3.1.3 ou acima em seu ambiente de desenvolvimento:

    Python
    %pip install mlflow>=3.1.3
    dbutils.library.restartPython()

  2. Habilite o aplicativo de avaliação para a coleta de feedback das partes interessadas.

  3. Substituir chamadas de API de feedback por registro de avaliação do MLflow 3.

  4. Implante seu agente com o MLflow 3:

    • O rastreamento em tempo real captura automaticamente todas as interações
    • Avaliações são anexadas diretamente a rastreamentos para visibilidade unificada.

  5. Configurar o monitoramento de produção (opcional):

Como a API de feedback funciona (descontinuado)​

O modelo de feedback expôs um endpoint REST que aceitava feedback estruturado sobre as respostas do agente. Você enviaria feedback via uma solicitação POST para o endpoint de feedback depois que seu agente processasse uma solicitação.

Exemplo de solicitação de feedback:

Bash
curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

Em vez disso, é possível passar pares key-value adicionais ou diferentes nos campos text_assessments.ratings e retrieval_assessments.ratings para fornecer diferentes tipos de feedback. No exemplo, o payload de feedback indica que a resposta do agente à solicitação com o ID 573d4a61-4adb-41bd-96db-0ec8cebc3744 está correta, precisa e fundamentada no contexto obtido por uma ferramenta de recuperação.

Limitações da API de Feedback​

A API de feedback experimental apresenta várias limitações:

  • Sem validação de entrada; a API sempre responde com sucesso, mesmo com entrada inválida
  • ID de solicitação do Databricks obrigatório: É necessário passar o databricks_request_id da solicitação original do agente
  • Dependência da tabela de inferência: O feedback é coletado usando tabelas de inferência com suas limitaçõesinerentes
  • Tratamento de erros limitado: Sem mensagens de erro significativas para solução de problemas

Para obter o databricks_request_id necessário, inclua {"databricks_options": {"return_trace": True}} na sua solicitação original ao endpoint de disponibilização do agente.

Recursos adicionais​

Nesta página