メインコンテンツまでスキップ

フィードバック モデル（非推奨）

important

廃止のお知らせ : エージェントのフィードバックを収集するための実験的な API であるフィードバック モデルは廃止され、将来のリリースで削除される予定です。

必要なアクション : 必ずMLflow 3 を使用してモデルをログに記録し、代わりにlog_feedback API を使用してください。

タイムライン :

  • 2025年12月4日 ：
    • 最新バージョンの databricks-agents を使用してデプロイされたエージェントでは、フィードバックをログに記録するための従来の試験的な API はサポートされなくなります。代わりに MLflow 3 Assessments API を使用してください。
    • 従来の request_logs テーブルと assessment_logs テーブルは、Mosaic AI によって入力されなくなりました。マテリアライズドビューを使用して独自の置換テーブルを作成できます。 MLflow 2 の代替ソリューションを参照してください。

フィードバック モデルを使用すると、エージェントの応答に関するフィードバックをプログラムで収集できます。agents.deploy()を使用してエージェントをデプロイすると、Databricks によってエージェントと共にフィードバック モデル エンドポイントが自動的に作成されます。

このエンドポイントは、構造化されたフィードバック (評価、コメント、評価) を受け入れ、推論テーブルに記録します。ただし、このアプローチは、MLflow 3 のより堅牢なフィードバック機能に置き換えられました。

フィードバックAPIの仕組み​

フィードバック モデルは、エージェントの応答に関する構造化されたフィードバックを受け入れる REST エンドポイントを公開しました。エージェントがリクエストを処理した後に、フィードバック エンドポイントに POST リクエストを介してフィードバックを送信します。

フィードバックリクエストの例:

Bash
curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about Lakeflow Declarative Pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

異なるタイプのフィードバックを提供するために、 text_assessments.ratingsフィールドとretrieval_assessments.ratingsフィールドに、追加のキーと値のペアまたは異なるキーと値のペアを渡すことができます。この例では、フィードバック ペイロードは、ID 573d4a61-4adb-41bd-96db-0ec8cebc3744のリクエストに対するエージェントの応答が正しく、正確であり、リトリーバー ツールによって取得されたコンテキストに基づいていることを示しています。

フィードバック API の制限​

実験的なフィードバック API にはいくつかの制限があります。

  • 入力検証なし。 無効な入力があっても、APIは常に正常に応答します。
  • 必要な Databricks リクエスト ID: 元のエージェント リクエストからdatabricks_request_idを渡す必要があります
  • 推論テーブル依存性: フィードバックは推論テーブルを使用して収集されますが、その固有の制限があります。
  • エラー処理が制限されている: トラブルシューティングに役立つエラー メッセージがない

必要なdatabricks_request_id取得するには、エージェントを提供するエンドポイントへの元のリクエストに{"databricks_options": {"return_trace": True}}を含める必要があります。

MLflow 3への移行​

非推奨のフィードバック モデルを使用する代わりに、包括的なフィードバックと評価機能を利用するために MLflow 3 に移行してください。

  • 堅牢な検証とエラー処理を備えた 一流の評価ログ
  • リアルタイムのトレース統合 により、即時のフィードバックを可視化
  • 強化されたステークホルダーコラボレーション機能を備えた レビューアプリの統合
  • 自動品質評価による 本番運用モニタリングのサポート

既存のワークロードを MLflow 3:1 に移行するには:

  1. MLflow 3.1.3 にアップグレード開発環境では、

    Python
    %pip install mlflow>=3.1.3
    dbutils.library.restartPython()

  2. フィードバック API 呼び出しを MLflow 3 評価ログに置き換えます。

  3. MLflow 3 を使用してエージェントをデプロイします。

    • リアルタイムトレースはすべてのインタラクションを自動的にキャプチャします
    • 評価はトレースに直接添付され、統一された可視性を実現します

  4. 本番運用モニタリングを設定します (オプション):

次のステップ​

に最終更新