メインコンテンツまでスキップ
に最終更新

フィードバックモデル（非推奨）

備考

新しいユースケースの場合、Databricksは、エージェントのコード、サーバー設定、およびデプロイワークフローを完全に制御するために、Databricks Appsへのエージェントのデプロイを推奨しています。AIエージェントを作成してDatabricks Appsにデプロイするを参照してください。既存のエージェントを移行するには、Model ServingからDatabricks Appsにエージェントを移行するを参照してください。

重要

廃止のお知らせ : フィードバック モデルは、2025年12月4日をもって廃止され、databricks-agentsの最新バージョンではサポートされなくなりました。

**対応が必要です**：代わりにMLflow 3 を使用してモデル 3 をログに記録してください 。そして、フィードバックを収集するには、代わりにlog_feedback APIとMLflow 3 Assessments APIを使用してください。

フィードバックモデルを使用すると、エージェントの応答に関するフィードバックをプログラムで収集できます。agents.deploy() を使用してエージェントをデプロイすると、Databricks はエージェントと並行してフィードバックモデルエンドポイントを自動的に作成します。

このエンドポイントは、構造化されたフィードバック（評価、コメント、査定）を受け入れ、それを推論テーブルにログ記録します。しかし、このアプローチはMLflow 3のより堅牢なフィードバック機能に置き換えられました。

MLflow 3 への移行​

非推奨のフィードバック モデルを使用する代わりに、包括的なフィードバックおよび評価機能のために MLflow 3 に移行してください。

  • 堅牢な検証とエラー処理を備えた ファーストクラスの評価ログ
  • **リアルタイムトレース統合**により、即座のフィードバックが可視化されます。
  • レビューアプリ統合 と強化された利害関係者とのコラボレーション機能
  • 本番運用 モニタリングのサポート (自動品質評価付き)

既存のワークロードを MLflow 3 に移行するには:

  1. MLflow 3.1.3 にアップグレードまたはそれ以降を開発環境で:

    Python
    %pip install mlflow>=3.1.3
    dbutils.library.restartPython()

  2. 関係者からのフィードバック収集のために、レビューアプリを有効にします。

  3. フィードバックAPI呼び出しをMLflow 3評価ログに置き換えます。

  4. MLflow 3 でエージェントをデプロイする:

    • リアルタイムトレーシングは、すべてのインタラクションを自動的にキャプチャします。
    • 一元的な可視化のために、評価がトレースに直接関連付けられます。

  5. 本番運用モニタリングのセットアップ (オプション)：

フィードバック API の動作 (非推奨)​

フィードバックモデルは、エージェントの応答に関する構造化されたフィードバックを受け入れる REST エンドポイントを公開しました。エージェントがリクエストを処理した後、POST リクエストを介してフィードバックエンドポイントにフィードバックを送信します。

フィードバックリクエストの例：

Bash
curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

text_assessments.ratings および retrieval_assessments.ratings のフィールドに、追加または異なるキーと値のペアを渡して、異なる種類のフィードバックを提供できます。この例では、フィードバックペイロードは、ID 573d4a61-4adb-41bd-96db-0ec8cebc3744 のリクエストに対するエージェントの応答が、正しい、正確である、そして取得ツールによって取得されたコンテキストに根ざしていることを示しています。

フィードバックAPIの制限​

実験的なフィードバック API にはいくつかの制限があります。

  • No input validation; The API は無効な入力でも常に正常に応答します。
  • 必須のDatabricksリクエストID：元のエージェントリクエストから を渡す必要があります。databricks_request_id
  • 推論テーブルの依存関係: フィードバックは、推論テーブルとその固有の制限を使用して収集されます。
  • 限定的なエラー処理: トラブルシューティングのための意味のあるエラーメッセージなし

必要なdatabricks_request_idを取得するには、エージェントサービングエンドポイントへの元のリクエストに{"databricks_options": {"return_trace": True}}を含める必要があります。

追加のリソース​

このページの見出し