メインコンテンツまでスキップ
に最終更新

フィードバック モデル（非推奨）

重要

非推奨の通知 : フィードバック モデルは 2025 年 12 月 4 日をもって非推奨となり、最新バージョンの databricks-agents ではサポートされなくなりました。

必要なアクション : 代わりにMLflow 3 を使用してモデル 3 をログに記録します。代わりにlog_feedback APIと MLflow 3 Assessments APIを使用してフィードバックを収集します。

フィードバック モデルを使用すると、エージェントの応答に関するフィードバックをプログラムで収集できます。agents.deploy()を使用してエージェントをデプロイすると、Databricks によってエージェントと共にフィードバック モデル エンドポイントが自動的に作成されます。

このエンドポイントは、構造化されたフィードバック (評価、コメント、評価) を受け入れ、推論テーブルに記録します。ただし、このアプローチは、MLflow 3 のより堅牢なフィードバック機能に置き換えられました。

MLflow 3への移行​

非推奨のフィードバック モデルを使用する代わりに、包括的なフィードバックと評価機能を利用するために MLflow 3 に移行してください。

  • 堅牢な検証とエラー処理を備えた ファーストクラスの評価ログ
  • リアルタイムのトレース統合 により、即時のフィードバックを可視化
  • 強化されたステークホルダーコラボレーション機能を備えた レビューアプリの統合
  • 自動品質評価による 本番運用モニタリングのサポート

既存のワークロードを MLflow 3 に移行するには:

  1. MLflow 3.1.3 にアップグレード開発環境では、

    Python
    %pip install mlflow>=3.1.3
    dbutils.library.restartPython()

  2. 関係者のフィードバックを収集するためにレビュー アプリを有効にします。

  3. フィードバック API 呼び出しをMLflow 3 評価ログに置き換えます。

  4. MLflow 3 を使用してエージェントをデプロイします。

    • リアルタイムトレースはすべてのインタラクションを自動的にキャプチャします
    • 評価はトレースに直接添付され、統一された可視性を実現します

  5. 本番運用モニタリングを設定します (オプション):

フィードバック API の仕組み（非推奨）​

フィードバック モデルは、エージェントの応答に関する構造化されたフィードバックを受け入れる REST エンドポイントを公開しました。エージェントがリクエストを処理した後に、フィードバック エンドポイントに POST リクエストを介してフィードバックを送信します。

フィードバックリクエストの例:

Bash
curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

異なるタイプのフィードバックを提供するために、 text_assessments.ratingsフィールドとretrieval_assessments.ratingsフィールドに、追加のキーと値のペアまたは異なるキーと値のペアを渡すことができます。この例では、フィードバック ペイロードは、ID 573d4a61-4adb-41bd-96db-0ec8cebc3744のリクエストに対するエージェントの応答が正しく、正確であり、リトリーバー ツールによって取得されたコンテキストに基づいていることを示しています。

フィードバック API の制限​

実験的なフィードバック API にはいくつかの制限があります。

  • 入力検証なし。 無効な入力があっても、APIは常に正常に応答します。
  • 必要な Databricks リクエスト ID: 元のエージェント リクエストからdatabricks_request_idを渡す必要があります
  • 推論テーブル依存性: フィードバックは推論テーブルを使用して収集されますが、その固有の制限があります。
  • エラー処理が制限されている: トラブルシューティングに役立つエラー メッセージがない

必要なdatabricks_request_id取得するには、エージェントを提供するエンドポイントへの元のリクエストに{"databricks_options": {"return_trace": True}}を含める必要があります。

次のステップ​