Mosaic AI Vector Search : 予算ポリシー

備考

プレビュー

この記事では、予算ポリシーを使用してベクトル検索コストを追跡する方法について説明します。

予算ポリシーを使用すると、管理者はすべてのDatabricksサーバレス製品にわたって請求記録をグループ化してフィルタリングし、支出を追跡するための専用 UI を提供できます。予算ポリシーはワークスペース管理者によって作成され、連続検索エンドポイントとインデックスに適用できます。一般的な情報と予算ポリシーの作成および管理方法の詳細については、「サーバーレス予算ポリシーでの属性の使用」を参照してください。

Mosaic AI Vector Search を使用する際のコスト管理方法の一般的な情報については、「Mosaic AI Vector Search: コスト管理ガイド」を参照してください。

エンドポイントに予算ポリシーを適用する

エンドポイントを作成するときに予算ポリシーを適用することも、後でエンドポイントを編集してポリシーを適用することもできます。

エンドポイントの作成時に予算ポリシーを適用する

Databricks UI
Python SDK
REST API

次のステップに従って、ベクトル検索エンドポイントを作成し、予算ポリシーを適用します。

左側のサイドバーで 「コンピュート」 をクリックします。
「 ベクトル検索 」タブをクリックし、「作成」をクリックします。
「詳細設定」 の右側にある矢印をクリックすると、ダイアログのそのセクションが開きます。
「予算ポリシー」 ドロップダウンメニューからポリシーを選択します。
確認をクリックします。

Python
client.create_endpoint(
   name="vector_search_endpoint_name",
   endpoint_type="STANDARD",
   budget_policy_id="12345678-1234-1234-1234-1234567890ab",
)

client.update_endpoint_budget_policy(
   name="vector_search_endpoint_name",
   budget_policy_id="12345678-1234-1234-1234-1234567890ab",
)

JSON
{
	name="vector_search_endpoint_name",
	budget_policy_id=”12345678-1234-1234-1234-1234567890ab”
}

エンドポイントの予算ポリシーを編集する

Databricks UI を使用してエンドポイントの予算ポリシーを編集するには、次の手順を実行します。

エンドポイントページで、鉛筆アイコンをクリックします。
ドロップダウンメニューからポリシーを選択し、 [保存] をクリックします。

Python SDK または REST API を使用してポリシーを編集するには、「エンドポイントの作成時に予算ポリシーを適用する」のタブを参照してください。

インデックスに予算ポリシーを適用する

インデックスを作成するときに予算ポリシーを適用することも、後でインデックスを編集してポリシーを適用することもできます。

インデックス作成時に予算ポリシーを適用する

Databricks UI
Python SDK
REST API

Databricks UI でスマート検索インデックスを作成する場合、インデックス作成 ダイアログ の [詳細設定] にある [サーバーレス予算ポリシー] ドロップダウンから予算ポリシーを選択できます。「UI を使用してインデックスを作成する」を参照してください。

Python
from databricks.vector_search.client import VectorSearchClient

client = VectorSearchClient()

client.create_delta_sync_index(
    endpoint_name="vector_search_endpoint_name",
    index_name="index_name",
    source_table_name="catalog.schema.table",
    primary_key="id",
    pipeline_type="TRIGGERED",
    budget_policy_id="12345678-1234-1234-1234-1234567890ab",
)

JSON
{
  "name": "index_name",
  "endpoint_name": "vector_search_endpoint_name",
  "primary_key": "id",
  "index_type": "DELTA_SYNC",
  "delta_sync_index_spec": {
    "source_table": "catalog.schema.table",
    "pipeline_type": "TRIGGERED",
    "budget_policy_id": "12345678-1234-1234-1234-1234567890ab"
  }
}

インデックスの予算ポリシーを編集する

Python SDK を使用してインデックスの予算ポリシーを編集するには:

Python
client.update_index_budget_policy(
    index_name="index_name",
    budget_policy_id="12345678-1234-1234-1234-1234567890ab",
)

予算ポリシー別のクエリ支出

予算ポリシー別に支出を照会するには、予算ポリシー ID が必要です。UI を使用して予算ポリシー ID を取得するには、管理者ユーザーとして次のステップに従います。

Databricks ワークスペースの上部バーにあるユーザー名をクリックし、 [設定] をクリックします。
「コンピュート」 をクリックします。
サーバレス予算ポリシー の横にある管理をクリックします。
サーバレス予算ポリシーを選択します。予算ポリシー ID は、右上のセクション このポリシーについて に表示されます。

REST API を使用して予算ポリシー ID を取得するには、ポリシーのリストを参照してください。

次のクエリは、予算ポリシー ID 別に支出を集計します。<INSERT BUDGET POLICY ID>予算ポリシー ID に置き換えます。

SQL
WITH vector_search_usage_by_budget_policy (
 SELECT *,
        CASE WHEN usage_type = "STORAGE_SPACE" THEN 'storage'
             ELSE 'serving'
       END as workload_type
   FROM system.billing.usage
  WHERE billing_origin_product = 'VECTOR_SEARCH'
  AND usage_metadata.endpoint_name IS NOT NULL
  AND usage_metadata.budget_policy_id = '<INSERT BUDGET POLICY ID>'
),
daily_usage_by_budget_policy AS (
 SELECT workspace_id,
      cloud,
      usage_date,
      workload_type,
      usage_metadata.endpoint_name as vector_search_endpoint,
      CASE WHEN workload_type = 'serving' THEN SUM(usage_quantity)
           ELSE null
           END as dbus,
      CASE WHEN workload_type = 'storage' THEN SUM(usage_quantity)
           ELSE null
           END as dsus
FROM vector_search_usage_by_budget_policy
GROUP BY all
ORDER BY 1,2,3,4,5,6 DESC
)
SELECT * FROM daily_usage_by_budget_policy

制限事項

ベクトル検索の場合、予算ポリシーには次の制限があります。

予算ポリシーでは、ベクトル検索の支出制限は強制されません。

エンドポイントに予算ポリシーを適用する​

エンドポイントの作成時に予算ポリシーを適用する​

エンドポイントの予算ポリシーを編集する​

インデックスに予算ポリシーを適用する​

インデックス作成時に予算ポリシーを適用する​

インデックスの予算ポリシーを編集する​

予算ポリシー別のクエリ支出​

制限事項​