メインコンテンツまでスキップ
に最終更新

フィードバック モデル (非推奨)

備考

新しいユースケースの場合、Databricksはエージェントのコード、サーバー構成、およびデプロイワークフローを完全に制御するために、Databricks Appsにエージェントをデプロイすることを推奨しています。AIエージェントを作成してDatabricks Appsにデプロイするを参照してください。既存のエージェントを移行するには、Model ServingからDatabricks Appsへのエージェントの移行を参照してください。

重要

廃止のお知らせ ：フィードバックモデルは2025年12月4日をもって廃止され、databricks-agentsの最新バージョンではサポートされなくなりました。

対応が必要です : 代わりに MLflow 3 を使用してモデル 3 をログに記録してください。次に、log_feedback API および MLflow 3 Assessments API を使用してフィードバックを収集してください。

フィードバックモデルを使用すると、エージェントの応答に関するフィードバックをプログラムで収集できます。agents.deploy() を使用してエージェントをデプロイすると、Databricks はエージェントとともにフィードバックモデル Endpoint を自動的に作成します。

この Endpoint は構造化されたフィードバック（評価、コメント、査定）を受け入れ、推論テーブルに Logs を記録します。ただし、このアプローチは MLflow 3 のより堅牢なフィードバック機能に置き換えられました。

MLflow 3への移行​

非推奨のフィードバック モデルを使用する代わりに、包括的なフィードバックおよび評価機能のために MLflow 3 に移行してください：

  • 堅牢な検証とエラー処理を備えた ファーストクラスの評価ログ
  • 即時のフィードバック視認性のためのリアルタイムトレース統合
  • 強化されたステークホルダーコラボレーション機能との レビューアプリ連携
  • **本番運用 モニタリング**サポートと自動品質評価

既存のワークロードをMLflow 3に移行するには：

  1. MLflow 3.1.3にアップグレードしてください。開発環境で、それ以降:

    Python
    %pip install mlflow>=3.1.3
    dbutils.library.restartPython()

  2. 利害関係者からのフィードバック収集のために、レビューアプリを有効にします。

  3. MLflow 3 評価ログでフィードバックAPI呼び出しを置き換えます。

  4. MLflow 3でエージェントをデプロイする:

    • リアルタイム トレースは、すべてのインタラクションを自動的にキャプチャします。
    • 評価は統一された可視性のためにトレースに直接関連付けられます。

  5. 本番運用モニタリングのセットアップ（オプション）：

フィードバック API の仕組み (非推奨)​

フィードバックモデルは、エージェントの応答に関する構造化されたフィードバックを受け付けるREST Endpointを公開しました。エージェントがリクエストを処理した後、POSTリクエストを介してフィードバック Endpointにフィードバックを送信します。

フィードバックリクエストの例：

Bash
curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

text_assessments.ratingsとretrieval_assessments.ratingsのフィールドに、追加または異なるキーと値のペアを渡して、さまざまな種類のフィードバックを提供できます。この例では、フィードバックペイロードは、ID 573d4a61-4adb-41bd-96db-0ec8cebc3744 のリクエストに対するエージェントの応答が正確で、取得ツールによってフェッチされたコンテキストに基づいていることを示しています。

フィードバック API の制限​

実験的フィードバックAPIにはいくつかの制限があります:

  • 入力の検証なし； APIは無効な入力であっても常に正常に応答します。
  • 必要な Databricks リクエスト ID: 元のエージェントリクエストから databricks_request_id を渡す必要があります。
  • 推論テーブルの依存関係: フィードバックは、推論テーブルを使用して、その固有の制限とともに収集されます。
  • 限定的なエラー処理： トラブルシューティングに役立つ具体的なエラーメッセージがありません。

必要なdatabricks_request_idを取得するには、エージェントサービングEndpointへの元々のリクエストに{"databricks_options": {"return_trace": True}}を含める必要があります。

その他のリソース​

このページの見出し