エージェント推論テーブル: リクエストおよび評価 Logs (非推奨)
新しいユースケースの場合、Databricksは、エージェントコード、サーバー構成、およびデプロイワークフローを完全に制御するために、Databricks Appsにエージェントをデプロイすることをお勧めします。AIエージェントを作成してDatabricks Appsにデプロイするを参照してください。既存のエージェントを移行するには、Model ServingからDatabricks Appsにエージェントを移行するを参照してください。
**非推奨に関するお知らせ**: 2025年12月4日以降、Databricks はpayload_request_logs とpayload_assessment_logs のテーブルを自動的に入力しなくなります。これらのテーブルは非推奨になりました。
- agents.deploy()経由で新しくデプロイされたエージェントではrequest_logs または assessment_logs テーブルは生成されなくなります。
- レガシーのrequest_logsテーブルとassessment_logsテーブルにはデータが投入されなくなりました。マテリアライズドビューを使用して独自の置き換えテーブルを作成できます。MLflow 2の代替ソリューションを参照してください。
- 最新バージョンの databricks-agents を使用してデプロイされたエージェントでは、フィードバックをログに記録するための従来の試験的な APIはサポートされなくなります。代わりに MLflow 3 Assessments APIを使用してください。
対応が必要です ：
- 推奨: より優れたパフォーマンスで統合ログを提供するリアルタイムトレーシングを使用するには、MLflow 3 にアップグレードしてください。
- 代替案 ：MLflow 2 の使用を継続する必要がある場合は、データへのアクセスを維持するための代替ソリューションを参照してください。
AI エージェントをデプロイすると、Databricks はエージェントとの間のリクエストと応答を自動的にキャプチャする 3 つの推論テーブルを作成します。これらのテーブルは、パフォーマンスの監視、問題のデバッグ、およびユーザーフィードバックの分析に役立ちます。
推論テーブル | Databricksテーブル名の例 | 目次 |
|---|---|---|
ペイロード |
| 未加工のJSONリクエストおよびレスポンスペイロード |
ペイロードリクエストログ |
| 書式設定されたリクエストと応答。MLflowトレース。 未処理ペイロードテーブルから派生しています。 |
ペイロード評価ログ |
| レビューアプリで提供されるフォーマットされたフィードバック（各リクエストに対して） 未処理ペイロードテーブルから派生しています。 |
- エージェントがリクエストを受信してから1時間以内に、未加工のJSONデータがペイロードテーブルに入力されます。
- リクエストLogsと評価Logsのテーブルは、ペイロードテーブルからのデータを処理およびフォーマットします。これにはさらに時間がかかります。
- 必要に応じて、ペイロード テーブルから手動でデータを抽出して処理できます。
- ペイロードテーブルへの変更（削除または更新）は、派生テーブルに自動的に同期されません。
何が変更されますか？
Databricksは、payload_request_logs および payload_assessment_logs テーブルを自動的に入力しなくなりました。
**引き続き機能する点**：生payload テーブルは、新しいリクエストからデータを受け取り続けています。
MLflow 3 に移行し、リアルタイムのトレースを使用してエージェントのLogsを統合します
Databricksは、エージェントのEndpointをMLflow 3に移行することを強く推奨します。MLflow 3のリアルタイムトレースにより、すべてのエージェントLogを1つのトレースロケーションに統合することで、個別のrequest_logsテーブルとassessment_logsテーブルの必要性がなくなります。
レガシー可観測性 | MLflow 3 の可観測性 | |
|---|---|---|
データ収集のレイテンシー | 1時間以上 | 10秒以下 |
データ編成 | トレースとユーザーフィードバック（評価）は、個別のUnity Catalogテーブル（ | トレース、フィードバック、評価など、すべての可観測性関連データは、同じエクスペリメントで簡単にアクセスできます。 |
フィードバック収集 | 十分にサポートされていません。実験的なフィードバックAPIを使用しており、ペイロード推論テーブルにデータが配置されます。 | MLflow 3は、評価の実行、人間によるラベル付け、評価データセットの管理のための簡素化されたAPIを提供します。 |
モニタリング | 十分にサポートされていません。サポートは、現在は非推奨のレガシーモニタリングに限定されており、レガシーの組み込みジャッジとガイドラインジャッジに限定され、カスタムメトリクスのサポートはありません。 レガシーモニタリングはペイロードリクエストLogsに基づいて実行されるため、エージェントの応答の評価には1時間以上かかります。 | モニタリングはMLflow 3とネイティブに統合されており、あらゆるスコアラーに対応しています。
履歴トレースに新しいメトリクスを遡及的に適用するためのメトリクスバックフィル機能が含まれています。 評価のためにMLflowからトレースが読み取られるため、モニタリングのレイテンシーが15～30分に短縮されます。 |
MLflow 3 は評価をトレースにアタッチし、すべてのペイロード、応答、および中間ステップの Logs とともに、トレースを MLflow トレースサーバーにログします。開発中のラベリング および 概念とデータモデル を参照してください。
移行手順
- **MLflow 3 にアップグレード**: エージェントが MLflow 3.1.3 を使用していることを確認してください。以上。MLflow 3 を使用してエージェントをデプロイすると、トレースが自動的に有効になります。
# Install prerequisites
%pip install mlflow>=3.1.3
# Restart Python to make sure the new packages are picked up
dbutils.library.restartPython()
- Log your agent : 通常どおりエージェントをログに記録し、MLflow 3.1.3が必要であることを確認してください。以上。次に、モデルをUCに登録します。
# Log your agent
with mlflow.start_run():
logged_agent_info = mlflow.pyfunc.log_model(
name="my_agent",
pip_requirements=[
"mlflow>=3.1.3",
],
...
)
# Register your model to UC
uc_registered_model_info = mlflow.register_model(
model_uri=logged_agent_info.model_uri, name=UC_MODEL_NAME
)
- エージェントをデプロイする： 通常どおりエージェントをデプロイしてください。オプションで、デプロイ前にMLflow エクスペリメントを設定して、トレースがログに記録される場所を制御します。これを実行しない場合、トレースは現在アクティブなMLflow エクスペリメントにログに記録されます。
import mlflow
from databricks import agents
# Set experiment for trace logging
mlflow.set_experiment("/path/to/your/experiment")
# Deploy with automatic tracing
deployment = agents.deploy(uc_model_name, uc_model_info.version)
# Retrieve the query endpoint URL for making API requests
deployment.query_endpoint
MLflow 3 は現在、サービング Endpoint ごとに最大 100,000 トレースまでサポートしています。より高い制限が必要になると予想される場合は、Databricks アカウントチームにお問い合わせください。
詳細については、Databricksにデプロイされたエージェントのトレースを参照してください。
MLflow 2を継続して使用するための代替オプション
MLflow 2 の代替メソッドは、エージェントのモニタリングが有効になっている Endpoint をサポートしていません。モニタリングを使用する場合は、MLflow 3 に移行し、モニタリング機能を MLflow 3 スコアラーとして再作成する必要があります。
MLflow 3にアップグレードできない場合でも、Databricksは引き続き生のpayloadテーブルを投入します。ただし、Databricksは、このデータをpayload_requests_logsとpayload_assessment_logsのテーブルに処理しなくなりました。
代わりに、Databricksはペイロードテーブル上にビューを生成し、同じ形式のデータを提供します。このデータにアクセスするには、2つのオプションがあります。提供されているビューを使用するか、マテリアライズドビューを作成してください。
オプション1：提供されているビューを使用します。
最も簡単な方法は、非推奨のテーブルの代わりに生成されたビュー payload_request_logs_view と payload_assessment_logs_view を使用することです。
これらのビューはペイロードテーブルをクエリーして、同じフォーマットされたデータを提供します。セットアップなしですぐに動作します。
必要に応じて、ビューの名前を元のテーブル名と一致させて、コードの変更を最小限に抑えます。
オプション2：マテリアライズドビューを作成
提供されているビュー（payload_request_logs_viewおよびpayload_assessment_logs_view）は、ペイロードテーブルをクエリしてデータをリアルタイムでコンピュートします。リアルタイムモニタリングのような物理的なDeltaテーブルを必要とするシナリオでは、代わりにマテリアライズドビューを作成します。
ビューをマテリアライズドビューに変換するには、以下のノートブックを実行します。
エージェント推論 Logs 用のマテリアライズドビューを作成する
よくある質問
既存のリクエストLogsと評価Logsのデータはどうなりますか？
推論テーブル内の既存のデータは、引き続きアクセス可能です。ただし、2025年12月4日以降、新しいデータがrequest_logsとassessment_logsテーブルに投入されることはありません。
エージェントのデプロイメントが壊れていませんか？
いいえ、以前のエージェントデプロイは引き続き機能し、ペイロード推論テーブルも引き続き入力されます。ただし、廃止日を過ぎると、request_logsテーブルとassessment_logsテーブルにはデータが届きません。同等の機能を維持するには、提供されているビューを使用するか、MLflow 3に移行します。
移行に関してサポートが必要な場合は、Databricks サポートチームにお問い合わせください。