Monitor モデルサービング costs

この記事では、システムテーブルを使用して、 Mosaic AI Model ServingDatabricksアカウントのエンドポイントのコストを監視する方法の例を示します。

要件

システムテーブルにアクセスするには、ワークスペースでUnity Catalogが有効になっている必要があります。詳細については、「システムテーブルスキーマを有効にする」を参照してください。

請求使用量システムテーブル SKU

Databricksでのモデルサービング費用は、課金利用システムテーブルを使用して追跡できます。請求使用量システムテーブルを有効にすると、 Databricks アカウントの最新の使用量がテーブルに自動的に入力されます。コストは、 system.billing.usage テーブルに表示され、列 sku_name は次のいずれかとして表示されます。

`sku_name`	説明
`<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region>`	この SKU には、エンドポイントが 0 にスケーリングした後に開始したときに発生したすべての DBU が含まれます。
`<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region>`	他のすべてのモデルサービングコストは、この SKUにまとめられています。ここで、 `tier` は Databricks プラットフォーム層に対応し、 `region` は Databricks デプロイのクラウドリージョンに対応します。

使用状況のクエリと視覚化

テーブルをクエリして、 system.billing.usageに関連付けられているすべての DBU (Databricks ユニット) を集計できます。Mosaic AI Model Serving次に、 SQLを使用して過去 30 日間のモデルサービング DBU を 1 日あたりに集計するクエリの例を示します。

SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

コスト監視ダッシュボード

モデルサービングコストのモニタリングを開始するには、 GitHubからサンプルのコストアトリビューションダッシュボードをダウンロードしてください。「モデルサービングコストアトリビューションダッシュボード」を参照してください。

JSON ファイルをダウンロードしたら、ダッシュボードをワークスペースにインポートします。ダッシュボードのインポート方法については、「ダッシュボードファイルのインポート」をご覧ください。

このダッシュボードの使用方法

このダッシュボードは AI/BI を利用しており、システムテーブルにアクセスできる必要があります。これにより、ワークスペースレベルでのサービングエンドポイントのコストと使用状況の知見が得られます。

次のステップで開始します。

ワークスペース ID を入力します。
開始日と終了日を選択します。
ダッシュボードをフィルタリングするには、ドロップダウンリストで特定のエンドポイント名を選択します (特定のエンドポイントに関心がある場合)。
これとは別に、エンドポイントにカスタムタグを使用する場合は、タグキーを入力します。

予算を使用してアラートを管理することもできます。

注：

モデルサービングは、ワークスペースにデフォルト制限を適用して、暴走する支出がないことを確認します。モデルサービングの制限と地域を参照してください。

使用できるグラフ

このダッシュボードには、次のグラフが含まれています。これらは、モデルサービングコストアトリビューションダッシュボードの独自のカスタマイズバージョンを構築するための出発点となることを目的としています。

過去 7 日間の上位エンドポイント消費量
日次合計$DBU使用量
エンドポイントタイプ別のモデルサービングコスト
- トークンごとの従量課金制
- CPU/GPU
- 基盤モデル
モデルサービングタイプごとの毎日の消費量
最もコストのかかるエンドポイントトップ10
Top 10 Most Expensive トークン単位の従量課金エンドポイント
LLM ファインチューニング Last 7 days Spend
LLM ファインチューニング Spend Per Eメール

タグを使用してコストを監視する

最初は、モデルサービングの全体的なコストを観察するには、集計されたコストで十分である場合があります。ただし、エンドポイントの数が増えると、ユースケース、ビジネスユニット、またはその他のカスタム識別子に基づいてコストを分割したい場合があります。モデルサービングは、モデルサービングエンドポイントに適用できるカスタムタグの作成をサポートしています。

モデルサービングエンドポイントに適用されたすべてのカスタムタグは、custom_tags列の下のsystem.billing.usageテーブルに反映され、コストの集計と視覚化に使用できます。Databricks では、正確なコスト追跡のために、各エンドポイントにわかりやすいタグを追加することをお勧めします。

クエリの例

コスト別の上位エンドポイント:

SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

タグ("business_unit": "データサイエンス")の経時的なコスト:

SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30