Unity AIゲートウェイ費用のモニタリング
ベータ版
この機能はベータ版です。
すべてのUnity AI Gatewayトラフィックについて、モデルサービス、ターゲットモデル、およびリクエストするプリンシパルごとにコストを監視し、分析します。
コストの可観測性は、Databricksの請求レコードに基づいています。トークン数、レイテンシー、リクエスターの詳細、リクエストタグなどのリクエストレベルの使用量アナリティクスについては、Unity AI Gatewayサービスのモデル使用量を参照してください。
要件
- お客様のアカウントでUnity AI Gatewayが有効になりました。
- Unity AI GatewayでサポートされているリージョンにあるDatabricksワークスペース。
- アカウントで有効化されている課金利用システムテーブル。「システムテーブルを有効にする」を参照してください。
帰属
Unity AI Gatewayは、課金利用システムテーブル(system.billing.usage)を介してコストの割り当てを提供します。
Unity AI Gateway は、MODEL_SERVINGの課金レコードをsystem.billing.usageのサービス固有のメタデータで拡充するため、Databricks のコストを関連するサービス、ターゲットモデル、プリンシパル、サービスタグに割り当てることができます。完全なスキーマとフィールド定義については、課金利用システムテーブルリファレンスを参照してください。
課金利用システムテーブルには、Databricksでホストされているモデルのコスト配分が含まれています。ダッシュボードでの外部モデルのコスト分析については、「外部モデルのコスト」をご覧ください。
Unity AI Gateway モデルサービスを介して提供されるリクエストに対して、Databricks は system.billing.usage の MODEL_SERVING レコードに以下のフィールドを設定します。
フィールド | 説明 |
|---|---|
| 要求を受信した Unity AI Gateway モデルサービスの名前。これは、 |
| Unity AI Gateway モデルサービスのID。 |
| リクエストを処理した宛先モデルです。たとえば |
| リクエストを処理したターゲットのID。 |
| リクエストを発行したユーザーまたはDatabricksサービスプリンシパル。 |
| Unity AI Gatewayモデルサービスで設定されたサービス タグ（ |
Unity AI Gateway を介してルーティングされるリアルタイムおよびバッチ推論リクエストのこれらのフィールドにデータが入力されます。
可観測性
組み込みの使用状況ダッシュボードには、コストのモニタリングと経時的なコストの内訳分析を行うための コスト分析 ページが含まれています。コストは、以下を含む複数のディメンションで分析できます。
- モデルサービス
- ターゲットモデル
- リクエスト元のユーザーまたはDatabricksサービスプリンシパル
ダッシュボードを開くには、AI Gatewayページから ダッシュボードを表示 をクリックします。ダッシュボードのインポートと更新の詳細については、組み込みの使用状況ダッシュボードを参照してください。
コスト監視は、ダッシュボードバージョン0.4以降で利用可能です。アカウント管理者は、最新のテンプレート変更を受け取るためにダッシュボードを更新する必要があります。組み込み使用状況ダッシュボードを参照してください。
外部モデルのコスト
使用状況ダッシュボードでは、「**価格テーブルのオーバーライド**」設定でモデル価格テーブルを指定することにより、外部モデル のコスト見積もりを含めるように構成できます。価格テーブルはユーザーが管理するものであり、ダッシュボードへの入力として提供する必要があります。
価格表には次のフィールドを含める必要があります：
フィールド | Type | 説明 |
|---|---|---|
| STRING | ダッシュボードにおけるコスト配分に使用されるモデル名。 |
| DOUBLE | 入力トークンの料金。 |
| DOUBLE | 出力トークンの価格。 |
| DOUBLE | サポートされている場合のキャッシュ読み取り入力トークンの価格。 |
| DOUBLE | キャッシュ書き込み入力トークンの価格（サポートされている場合）。 |
外部モデルのコスト見積もりは参考情報です。これらの数値は、定価または上書き価格に基づいて算出されており、最終的なプロバイダーの請求額に反映されない場合があります。Databricksは、第三者による請求の不一致については責任を負いません。
コスト分析
Genie Code (エージェントモード) がこれを実行できます。このプロンプト例をお試しください。
Query system.billing.usage to show AI Gateway DBU cost for the past 30 days, broken down by usage_metadata.ai_gateway.endpoint_name, destination model, and requesting user. Filter to MODEL_SERVING records. Show top 10 in each.
次のクエリは、system.billing.usage での Databricks ホスト型モデルのコストを分析します。コストは、モデルサービス、ターゲットモデル、およびプリンシパルによって分類できます。
モデルサービス別
SELECT
usage_metadata.ai_gateway.endpoint_name AS endpoint_name,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY endpoint_name
ORDER BY dbus DESC;
宛先モデル別
SELECT
usage_metadata.ai_gateway.destination_model AS destination_model,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY dbus DESC;
ユーザーまたはDatabricksサービスプリンシパルによる
SELECT
identity_metadata.run_by AS run_by,
SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
AND identity_metadata.run_by IS NOT NULL
AND usage_unit = 'DBU'
AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY dbus DESC;
制限事項
system.billing.usageのMODEL_SERVINGレコードに支出アトリビューションが適用されます。外部プロバイダーによって直接請求される外部モデルにルーティングされるリクエストは、system.billing.usageには表示されません。- トラフィックスプリットやフォールバックなど、複数の宛先を持つモデルサービスの場合、
ai_gateway.destination_modelとai_gateway.destination_idは最終的にリクエストを処理した宛先を特定します。