メインコンテンツまでスキップ
に最終更新

Logs：推論テーブルへのリクエストと応答

このページでは、推論テーブルを使用して Unity Gateway モデルサービスを監視する方法について説明します。

注記

推論テーブルは、Unity Gatewayの有料機能です。Databricks では、推論テーブルがlogするリクエストと応答に対して課金されます。Unity Gatewayの価格を参照してください。

Unity AIゲートウェイの推論テーブルとは何ですか？​

Unity Gateway 推論テーブルは、モデルサービスからのリクエストと応答を Unity Catalog Delta テーブルに記録します。このデータを使用して、モデルのモニタリング、デバッグ、最適化を行うことができます。


ユースケースの例：

  • デバッグ : リクエストとレスポンスのペイロードを分析して、問題のトラブルシューティングを行います。
  • モニタリング：モデルのパフォーマンスを追跡し、異常を特定します。
  • 最適化 ：インタラクションを確認して、モデルのプロンプトと構成を改善します。
  • コンプライアンス ：すべてのモデルインタラクションの監査ログを維持します。

要件​

  • Unity Gateway がサポートされているリージョンの Databricks ワークスペース。

  • ワークスペースでUnity Catalog有効化されていること。 Unity Catalog のワークスペースを有効にする方法をご覧ください。

  • モデルサービスに対するMANAGE権限。モデルサービスの作成者と変更者の両方が、この権限を持っている必要があります。

  • 指定された Unity Catalog カタログおよびスキーマ内の CREATE TABLE 権限。

  • 指定されたカタログに対するUSE CATALOG特権。

  • 指定したスキーマに対するUSE SCHEMA権限。

  • このカタログは、現在のメタストアに対してOpenSharingカタログであってはなりません。

  • Databricks では、パフォーマンス向上のために予測的最適化を有効にすることをお勧めします。

デフォルトストレージによってバックアップされるカタログを使用するには、ワークスペース管理者が Settings > Previews で Zerobus Ingest Default Storage を有効にする必要があります。「Databricks プレビューの管理」を参照してください。

推論テーブルを有効にする​

推論テーブルは、モデルサービスを作成した後でのみ構成できます。

推論テーブルを有効にするには：

  1. サイドバーで、 AI Gateway をクリックします。
  2. モデルサービス名をクリックして、モデルサービスページを開きます。
  3. 推論テーブル の隣にある セットアップ をクリックします。
  4. 推論テーブルを保存するカタログとスキーマを指定してください。
  5. 保存 をクリックします。

推論テーブルの所有者は、モデルサービスを作成したユーザーです。すべてのACLは標準のUnity Catalog権限に準拠しており、テーブル所有者によって変更できます。

注記

既存のテーブルを指定することはサポートされていません。推論テーブルを有効にすると、Endpoint が最初のリクエストを受信した後、Databricks が自動的に新しい推論テーブルを作成します。Endpoint が最初のリクエストを受信してからテーブルに反映されるまで、最大 1 時間かかる場合があります。

警告

推論テーブルは、次のいずれかの操作を行うと、データのログ記録を停止したり、破損したりする可能性があります。

  • テーブル スキーマを変更します。
  • テーブル名を変更します。
  • テーブルを削除します。

推論テーブルを無効にする​

推論テーブルを無効にするには：

  1. サイドバーで、 AI Gateway をクリックします。
  2. モデルサービス名をクリックして、モデルサービスページを開きます。
  3. **推論テーブル**の横にある編集アイコンをクリックします。
  4. 推論テーブルを無効にする をクリックしてください。

推論テーブルを照会する​

UIでテーブルを表示したり、Databricks SQLまたはノートブックからテーブルをクエリしたりできます。

UIでテーブルを表示するには、モデルサービスページで推論テーブルのリンクをクリックし、カタログエクスプローラーでテーブルを開きます。

Databricks SQLまたはノートブックからテーブルをクエリするには：

SQL
SELECT * FROM <catalog>.<schema>.<payload_table>

<catalog>、<schema>、および<payload_table>をテーブルの場所に置き換えます。

推論テーブルスキーマ​

Unity Gateway 推論テーブルには、次のスキーマがあります。

列名

タイプ

説明

例

request_id

文字列

リクエストの一意の識別子。

7a99b43cb46c432bb0a7814217701909

invocation_id

文字列

個々の推論呼び出しのための一意の識別子。ガードレールチェックやマルチターンのエージェント呼び出しのように、複数の呼び出しで同じrequest_idを共有できます。それらを区別するためにinvocation_idを使用します。

c0a8012e-9f3b-4d21-8a7e-1b2c3d4e5f60

request_tags

マップ

リクエストに関連付けられたタグ。

{"team": "engineering"}

event_time

Timestamp

リクエストが受信されたタイムスタンプ。

2024-05-17T13:47:13.282-07:00

status_code

INT

レスポンスの HTTP ステータスコードです。

200

sampling_fraction

double

ダウンサンプリングが使用された場合のサンプリング分数。値1は、ダウンサンプリングなしを意味します。

1

latency_ms

ロング

合計レイテンシー（ミリ秒単位）。

300

time_to_first_byte_ms

ロング

最初のバイトまでの時間 (ミリ秒単位)。

200

request

文字列

未加工のJSONリクエストペイロードです。

{"messages": [...], ...}

response

文字列

未加工のJSON応答ペイロードです。

{"choices": [...], ...}

destination_type

文字列

宛先の種類（例えば、外部モデルまたは基盤モデル）。

PAY_PER_TOKEN_FOUNDATION_MODEL

destination_name

文字列

宛先モデルまたはプロバイダーの名前。

system.ai.gpt-5-2

destination_model

文字列

要求に使用された特定のモデル。

GPT-5.2

logging_error_codes

ARRAY

ログ記録に失敗した場合のエラーコード（例：MAX_REQUEST_SIZE_EXCEEDED）。

["MAX_RESPONSE_SIZE_EXCEEDED"]

requester

文字列

リクエストを行ったユーザーまたはサービスプリンシパルのID。

databricks.engineer@databricks.com

schema_version

文字列

推論テーブルレコードのスキーマバージョンです。

0

列名

タイプ

説明

例

request_id

文字列

リクエストの一意の識別子。

7a99b43cb46c432bb0a7814217701909

invocation_id

文字列

個々の推論呼び出しのための一意の識別子。ガードレールチェックやマルチターンのエージェント呼び出しのように、複数の呼び出しで同じrequest_idを共有できます。それらを区別するためにinvocation_idを使用します。

c0a8012e-9f3b-4d21-8a7e-1b2c3d4e5f60

request_tags

マップ

リクエストに関連付けられたタグ。

{"team": "engineering"}

event_time

Timestamp

リクエストが受信されたタイムスタンプ。

2024-05-17T13:47:13.282-07:00

status_code

INT

レスポンスの HTTP ステータスコードです。

200

sampling_fraction

double

ダウンサンプリングが使用された場合のサンプリング分数。値1は、ダウンサンプリングなしを意味します。

1

latency_ms

ロング

合計レイテンシー（ミリ秒単位）。

300

time_to_first_byte_ms

ロング

最初のバイトまでの時間 (ミリ秒単位)。

200

request

文字列

未加工のJSONリクエストペイロードです。

{"messages": [...], ...}

response

文字列

未加工のJSON応答ペイロードです。

{"choices": [...], ...}

destination_type

文字列

宛先の種類（例えば、外部モデルまたは基盤モデル）。

PAY_PER_TOKEN_FOUNDATION_MODEL

destination_name

文字列

宛先モデルまたはプロバイダーの名前。

system.ai.gpt-5-2

destination_model

文字列

要求に使用された特定のモデル。

GPT-5.2

logging_error_codes

ARRAY

ログ記録に失敗した場合のエラーコード（例：MAX_REQUEST_SIZE_EXCEEDED）。

["MAX_RESPONSE_SIZE_EXCEEDED"]

requester

文字列

リクエストを行ったユーザーまたはサービスプリンシパルのID。

databricks.engineer@databricks.com

schema_version

文字列

推論テーブルレコードのスキーマバージョンです。

0

制限事項​

  • プライベートエンドポイントはサポートされていません : プライベートエンドポイント経由で保護されたストレージ内に推論テーブルを作成することはできません。Zerobus Ingest クォータを参照してください。
  • Zerobus による配信 : 推論テーブルは Zerobus を通じて Logs を配信し、そのレイテンシー、at-least-once（少なくとも1回）配信、および保持動作を共有します。Zerobus Ingest のクォータを参照してください。
  • 最大ペイロードサイズ ：10 MiBを超えるリクエストとレスポンスはログに記録されません。logging_error_codes列は、これがMAX_REQUEST_SIZE_EXCEEDEDまたはMAX_RESPONSE_SIZE_EXCEEDEDの場合にいつ発生するかを示します。
  • エラー応答 ：ログは、401、403、429、または 500 エラーを返すリクエストに対して入力されない場合があります。

その他のリソース​

このページの見出し