メインコンテンツまでスキップ

エージェント推論テーブル: リクエストと評価のログ (非推奨)

important

非推奨の通知 : Databricks はpayload_request_logsテーブルとpayload_assessment_logsテーブルを自動的に入力しなくなりました。これらのテーブルは非推奨になりました。

必要なアクション :

  • 推奨 : リアルタイム トレースを使用するには、 MLflow 3 にアップグレードしてください。これにより、統合ログが実現され、パフォーマンスが向上します。
  • 代替案 : MLflow 2 を引き続き使用する必要がある場合は、データへのアクセスを維持するための代替ソリューションを参照してください。

タイムライン :

  • 2025年12月4日 ：
    • agents.deploy()経由で新しくデプロイされたエージェントrequest_logs または assessment_logs テーブルは生成されなくなります。
    • 従来の request_logs テーブルと assessment_logs テーブルは、Mosaic AI によって入力されなくなりました。マテリアライズドビューを使用して独自の置換テーブルを作成できます。 MLflow 2 の代替ソリューションを参照してください。
    • 最新バージョンの databricks-agents を使用してデプロイされたエージェントでは、フィードバックをログに記録するための従来の試験的な API はサポートされなくなります。代わりに MLflow 3 Assessments API を使用してください。

AI エージェントをデプロイすると、Databricks によって、エージェントとの間の要求と応答を自動的にキャプチャする 3 つの推論テーブルが作成されます。これらのテーブルは、パフォーマンスの監視、問題のデバッグ、ユーザー フィードバックの分析に役立ちます。

推論テーブル

Databricksテーブル名の例

表の内容

ペイロード

{catalog_name}.{schema_name}.{model_name}_payload

生のJSONリクエストとレスポンスのペイロード

ペイロードリクエストログ

{catalog_name}.{schema_name}.{model_name}_payload_request_logs

フォーマットされたリクエストと応答。MLflow トレース。

生のペイロード テーブルから派生します。

ペイロード評価ログ

{catalog_name}.{schema_name}.{model_name}_payload_assessment_logs

レビューアプリで提供されるフォーマットされたフィードバック（各リクエストに対して）

生のペイロード テーブルから派生します。

  • エージェントがリクエストを受信してから 1 時間以内に、生の JSON データがペイロード テーブルに入力されます。
  • リクエスト ログ テーブルと評価ログ テーブルは、ペイロード テーブルからのデータを処理してフォーマットします。これには追加の時間がかかります。
  • 必要に応じて、ペイロード テーブルからデータを手動で抽出して処理できます。
  • ペイロード テーブルへの変更 (削除または更新) は、派生テーブルに自動的に同期されません。

何が変わるのでしょうか?​

Databricks はpayload_request_logsテーブルとpayload_assessment_logsテーブルを自動的に入力しなくなりました。

引き続き機能するもの : 生のpayloadテーブルは、新しいリクエストからのデータを受信し続けます。

MLflow 3に移行し、リアルタイムトレースを使用してエージェントログを統合します。​

Databricks では、エージェント エンドポイントを MLflow 3 に移行することを強くお勧めします。MLflow 3 のリアルタイム トレースでは、すべてのエージェント ログが 1 つのトレースの場所に統合されるため、個別のrequest_logsテーブルとassessment_logsテーブルが不要になります。

レガシー可観測性

MLflow 3 オブザーバビリティ

データ収集の遅延

1時間以上

<10秒

データ構成

トレースとユーザー フィードバック (評価) は、別々のUnity Catalogテーブル ( request_logsとassessment_logs ) に抽出されます。

トレース、フィードバック、評価などの可観測性に関連するすべてのデータに、同じエクスペリメントで簡単にアクセスできます。

フィードバック収集

十分にサポートされていません。実験的なフィードバック API を使用して、データをペイロード推論テーブルに格納します。

MLflow 3 は、評価の実行、人間によるラベル付け、評価データセットの管理のための簡素化されたAPIs提供します。

モニタリング

十分にサポートされていません。サポートは、現在は非推奨となっているレガシーモニタリングに限定されており、レガシー組み込みジャッジとガイドラインジャッジに限定されており、カスタムメトリクスサポートはありません。

従来のモニタリングはペイロード要求ログに基づいて実行されるため、エージェントの応答の評価には 1 時間以上かかります。

モニタリングは MLflow 3 とネイティブに統合されており、あらゆるスコアラーをサポートします。

  • 組み込みスコアラー
  • カスタムコードスコアラー
  • カスタムプロンプト
  • 裁判官としての代理人

新しいメトリクスを履歴トレースに遡って適用するメトリクス バックフィル機能が含まれています。

トレースは評価のためにMLflowから読み取られ、モニタリングの待ち時間が 15 ～ 30 分に短縮されます。

MLflow 3 は、トレースに評価を添付し、すべてのペイロード、応答、および中間ステップのログとともにトレースを MLflow トレース サーバーに記録します。「評価の記録とレビュー アプリ」を参照してください。

移行ステップ​

  1. MLflow 3 へのアップグレード : エージェントが MLflow 3.1.3 を使用していることを確認してくださいまたはそれ以上。MLflow 3 を使用してエージェントを展開すると、トレースが自動的に有効になります。
Python
# Install prerequisites
%pip install mlflow>=3.1.3

# Restart Python to make sure the new packages are picked up
dbutils.library.restartPython()
  1. エージェントのログ記録 : エージェントを通常どおりログ記録し、MLflow 3.1.3 が必要であることを確認します。またはそれ以上。次に、モデルをUCに登録します。
Python
# Log your agent
with mlflow.start_run():
    logged_agent_info = mlflow.pyfunc.log_model(
        name="my_agent",
        pip_requirements=[
            "mlflow>=3.1.3",
        ],
        ...
    )

# Register your model to UC
uc_registered_model_info = mlflow.register_model(
    model_uri=logged_agent_info.model_uri, name=UC_MODEL_NAME
)
  1. エージェントをデプロイする: 通常どおりにエージェントをデプロイします。必要に応じて、デプロイ前にMLflowエクスペリメントを設定して、トレースが記録される場所を制御します。 これを行わない場合、トレースは現在アクティブなMLflowエクスペリメントに記録されます。
Python
import mlflow
from databricks import agents

# Set experiment for trace logging
mlflow.set_experiment("/path/to/your/experiment")

# Deploy with automatic tracing
deployment = agents.deploy(uc_model_name, uc_model_info.version)

# Retrieve the query endpoint URL for making API requests
deployment.query_endpoint
注記

MLflow 3 は現在、サービス エンドポイントごとに最大 100,000 のトレースをサポートしています。より高い制限が必要になると予想される場合は、Databricks アカウント チームにお問い合わせください。

詳細については、 「トレースを使用したエージェントの展開」を参照してください。

MLflow 2 を引き続き使用するための代替オプション​

important

MLflow 2 の代替方法は、エージェント モニタリングが有効になっているエンドポイントをサポートしません。 モニタリングを使用する場合は、MLflow 3 に移行し、モニターをMLflow 3 スコアラーとして再作成する必要があります。

MLflow 3 にアップグレードできない場合、Databricks は生のpayloadテーブルへのデータの入力を続行します。ただし、Databricks はこのデータをpayload_requests_logsテーブルとpayload_assessment_logsテーブルに処理しなくなりました。

代わりに、Databricks は、同じ形式のデータを提供するペイロード テーブルに対してビューを生成します。このデータにアクセスするには 2 つのオプションがあります。提供されたビューを使用するか、マテリアライズドビューを作成します。

オプション1: 提供されているビューを使用する​

最も簡単な方法は、非推奨のテーブルの代わりに、生成されたビューpayload_request_logs_viewとpayload_assessment_logs_viewを使用することです。

これらのビューはペイロード テーブルをクエリして同じ形式のデータを提供し、セットアップを必要とせずにすぐに機能します。

必要に応じて、コードの変更を最小限に抑えるために、元のテーブル名と一致するようにビューの名前を変更します。

オプション2: マテリアライズドビューを作成する​

提供されたビュー ( payload_request_logs_viewおよびpayload_assessment_logs_view ) は、ペイロード テーブルにクエリを実行することによって、保留中のデータをコンピュートします。 中断モニタリングなどの物理的なDeltaテーブルが必要なシナリオの場合は、代わりにマテリアライズドビューを作成します。

次のノートブックを実行して、ビューをマテリアライズドビューに変換します。

エージェント推論ログのマテリアライズドビューを作成する

Open notebook in new tab

よくある質問​

既存のリクエスト ログと評価ログのデータはどうなるのでしょうか?​

推論テーブル内の既存のデータには引き続きアクセスできます。ただし、2025 年 12 月 4 日以降は、 request_logsテーブルとassessment_logsテーブルに新しいデータは入力されなくなります。

エージェントの展開は中断されますか?​

いいえ、古いエージェントのデプロイメントは引き続き機能し、ペイロード推論テーブルには引き続きデータが入力されます。ただし、廃止日以降は、 request_logsテーブルとassessment_logsテーブルにデータは保存されなくなります。提供されているビューを使用するか、同等の機能を維持するために MLflow 3 に移行してください。

移行に関してサポートが必要な場合は、Databricks サポート チームにお問い合わせください。

次は何か​

に最終更新