推論テーブルを使用してモデルサービスを監視します。

備考

ベータ版

この機能はベータ版です。アカウント管理者は、アカウント コンソールの [プレビュー] ページからこの機能へのアクセスを制御できます。 Databricksのプレビューを管理するを参照してください。

このページでは、Unity AI Gatewayモデルサービスを監視するために推論テーブルを使用する方法について説明します。

Unity AI Gateway推論テーブルとは何ですか？

Unity AI Gateway 推論テーブルは、モデルサービスからのリクエストとレスポンスを Unity Catalog Delta テーブルにログに記録します。このデータを使用して、モデルのモニタリング、デバッグ、最適化を行うことができます。

ユースケースの例：

• デバッグ : リクエストとレスポンスのペイロードを分析して、問題のトラブルシューティングを行います。
• モニタリング：モデルのパフォーマンスを追跡し、異常を特定します。
• 最適化 ：インタラクションを確認して、モデルのプロンプトと構成を改善します。
• コンプライアンス ：すべてのモデルインタラクションの監査ログを維持します。

要件

• お客様のアカウントでUnity AI Gatewayのプレビュー版が有効になりました。Databricksのプレビューを管理するを参照してください。

• Unity AI GatewayでサポートされているリージョンにあるDatabricksワークスペース。

• ワークスペースでUnity Catalog有効化されていること。 Unity Catalog のワークスペースを有効にする方法をご覧ください。

• モデルサービスに対するMANAGE権限。モデルサービスの作成者と変更者の両方が、この権限を持っている必要があります。

• 指定された Unity Catalog カタログおよびスキーマ内の CREATE TABLE 権限。

• 指定されたカタログに対するUSE CATALOG特権。

• 指定したスキーマに対するUSE SCHEMA権限。

• このカタログは、現在のメタストアに対してOpenSharingカタログであってはなりません。

• Databricks では、パフォーマンス向上のために予測的最適化を有効にすることをお勧めします。

推論テーブルを有効にする

推論テーブルは、モデルサービスを作成した後でのみ構成できます。

推論テーブルを有効にするには：

1. サイドバーで、 AI Gateway をクリックします。
2. モデルサービス名をクリックして、モデルサービスページを開きます。
3. 推論テーブル の隣にある セットアップ をクリックします。
4. 推論テーブルを保存するカタログとスキーマを指定してください。
5. 保存 をクリックします。

推論テーブルの所有者は、モデルサービスを作成したユーザーです。すべてのACLは標準のUnity Catalog権限に準拠しており、テーブル所有者によって変更できます。

注記

既存のテーブルを指定することはサポートされていません。Databricks は、推論テーブルを有効にすると、新しい推論テーブルを自動的に作成します。

警告

推論テーブルは、次のいずれかの操作を行うと、データのログ記録を停止したり、破損したりする可能性があります。

• テーブル スキーマを変更します。
• テーブル名を変更します。
• テーブルを削除します。

推論テーブルを無効にする

推論テーブルを無効にするには：

1. サイドバーで、 AI Gateway をクリックします。
2. モデルサービス名をクリックして、モデルサービスページを開きます。
3. **推論テーブル**の横にある編集アイコンをクリックします。
4. 推論テーブルを無効にする をクリックしてください。

推論テーブルを照会する

UIでテーブルを表示したり、Databricks SQLまたはノートブックからテーブルをクエリしたりできます。

UIでテーブルを表示するには、モデルサービスページで推論テーブルのリンクをクリックし、カタログエクスプローラーでテーブルを開きます。

Databricks SQLまたはノートブックからテーブルをクエリするには：

SQL

SELECT * FROM <catalog>.<schema>.<payload_table>

<catalog>、<schema>、および<payload_table>をテーブルの場所に置き換えます。

推論テーブルスキーマ

Unity AI Gateway 推論テーブルには次のスキーマがあります：

列名	タイプ	説明	例
request_id	文字列	リクエストの一意の識別子。	7a99b43cb46c432bb0a7814217701909
invocation_id	文字列	個々の推論呼び出しのための一意の識別子。ガードレールチェックやマルチターンのエージェント呼び出しのように、複数の呼び出しで同じrequest_idを共有できます。それらを区別するためにinvocation_idを使用します。	c0a8012e-9f3b-4d21-8a7e-1b2c3d4e5f60
request_tags	マップ	リクエストに関連付けられたタグ。	{"team": "engineering"}
event_time	Timestamp	リクエストが受信されたタイムスタンプ。	2024-05-17T13:47:13.282-07:00
status_code	INT	レスポンスの HTTP ステータスコードです。	200
sampling_fraction	double	ダウンサンプリングが使用された場合のサンプリング分数。値1は、ダウンサンプリングなしを意味します。	1
latency_ms	ロング	合計レイテンシー（ミリ秒単位）。	300
time_to_first_byte_ms	ロング	最初のバイトまでの時間 (ミリ秒単位)。	200
request	文字列	未加工のJSONリクエストペイロードです。	{"messages": [...], ...}
response	文字列	未加工のJSON応答ペイロードです。	{"choices": [...], ...}
destination_type	文字列	宛先の種類（例えば、外部モデルまたは基盤モデル）。	PAY_PER_TOKEN_FOUNDATION_MODEL
destination_name	文字列	宛先モデルまたはプロバイダーの名前。	databricks-gpt-5-2
destination_model	文字列	要求に使用された特定のモデル。	GPT-5.2
logging_error_codes	ARRAY	ログ記録に失敗した場合のエラーコード（例：MAX_REQUEST_SIZE_EXCEEDED）。	["MAX_RESPONSE_SIZE_EXCEEDED"]
requester	文字列	リクエストを行ったユーザーまたはサービスプリンシパルのID。	databricks.engineer@databricks.com
schema_version	文字列	推論テーブルレコードのスキーマバージョンです。	0

列名	タイプ	説明	例
request_id	文字列	リクエストの一意の識別子。	7a99b43cb46c432bb0a7814217701909
invocation_id	文字列	個々の推論呼び出しのための一意の識別子。ガードレールチェックやマルチターンのエージェント呼び出しのように、複数の呼び出しで同じrequest_idを共有できます。それらを区別するためにinvocation_idを使用します。	c0a8012e-9f3b-4d21-8a7e-1b2c3d4e5f60
request_tags	マップ	リクエストに関連付けられたタグ。	{"team": "engineering"}
event_time	Timestamp	リクエストが受信されたタイムスタンプ。	2024-05-17T13:47:13.282-07:00
status_code	INT	レスポンスの HTTP ステータスコードです。	200
sampling_fraction	double	ダウンサンプリングが使用された場合のサンプリング分数。値1は、ダウンサンプリングなしを意味します。	1
latency_ms	ロング	合計レイテンシー（ミリ秒単位）。	300
time_to_first_byte_ms	ロング	最初のバイトまでの時間 (ミリ秒単位)。	200
request	文字列	未加工のJSONリクエストペイロードです。	{"messages": [...], ...}
response	文字列	未加工のJSON応答ペイロードです。	{"choices": [...], ...}
destination_type	文字列	宛先の種類（例えば、外部モデルまたは基盤モデル）。	PAY_PER_TOKEN_FOUNDATION_MODEL
destination_name	文字列	宛先モデルまたはプロバイダーの名前。	databricks-gpt-5-2
destination_model	文字列	要求に使用された特定のモデル。	GPT-5.2
logging_error_codes	ARRAY	ログ記録に失敗した場合のエラーコード（例：MAX_REQUEST_SIZE_EXCEEDED）。	["MAX_RESPONSE_SIZE_EXCEEDED"]
requester	文字列	リクエストを行ったユーザーまたはサービスプリンシパルのID。	databricks.engineer@databricks.com
schema_version	文字列	推論テーブルレコードのスキーマバージョンです。	0

制限事項

• 外部ストレージカタログのみ ：推論テーブルは外部ストレージカタログにのみ作成できます。デフォルトストレージカタログは現在サポートされていません。
• プライベートエンドポイントはサポートされていません : プライベートエンドポイントで保護されたストレージには推論テーブルを作成できません。Zerobus Ingest コネクタの制限を参照してください。
• ベストエフォート配信 : ログは通常、リクエストから数分以内に利用可能になりますが、配信は保証されません。
• 最大ペイロードサイズ ：10 MiBを超えるリクエストとレスポンスはログに記録されません。logging_error_codes列は、これがMAX_REQUEST_SIZE_EXCEEDEDまたはMAX_RESPONSE_SIZE_EXCEEDEDの場合にいつ発生するかを示します。
• エラー応答 ：ログは、401、403、429、または 500 エラーを返すリクエストに対して入力されない場合があります。

その他のリソース

• Unity AIゲートウェイサービスでのモデル使用状況
• Unity AI Gatewayを使用してAIサービスのレート制限を構成します。
• Unity AI Gatewayでモデルサービスについてトラフィック分割とフォールバックを構成します。