メインコンテンツまでスキップ

Unity Gatewayの予算と支出制限の設定

バジェットは、Databricks ホスト型の使用量と、有効な場合は外部モデルの支出を含め、Unity Gateway の支出を監視および制御するのに役立ちます。バジェットを Unity Gateway 製品に限定して Unity Gateway の支出のみを追跡したり、アカウント全体のバジェットに Unity Gateway を含めたりすることができます。

アカウントとワークスペースの管理者は、Governance HubのAIページでAI予算のステータスと支出の概要を表示できます。

ヒント

Unity Gatewayをスコープとする予算の場合、強制適用とアラートはほぼリアルタイムになります。支出がthresholdを超えると、system.billing.usageの更新タイミングに関係なく、使用制限とアラートEメールがすぐに有効になります。

要件​

  • お客様のアカウントでUnity Gatewayが有効になりました。

予算の対象​

Unity Gatewayの予算は、モデルがランする場所に関係なく、Unity Gatewayを通過する支出をカバーします:

予算は、プロビジョニングされたthroughput、またはUnity Gatewayを通過せずにスタンドアロンのModel Serving Endpointに直接送信されたトラフィックはカバーしません。

予算を設定できるユーザー​

  • アカウント管理者 : アカウントコンソール または Budget API を使用して予算を作成および変更できます。
  • ワークスペース管理者 : Governance Hubまたは予算APIを使用して、管理するワークスペースの範囲で予算を作成します。
  • 委任されたロール :アドミニストレーター以外に予算管理を委任するには、個別の予算に対して予算マネージャーまたは予算ビューアーのロールを付与します。誰が何をできるかを参照してください。

一般的な予算設定​

予算を使用すると、Unity Gateway を介してルーティングされるトラフィックに対する単一のコスト管理プレーンが得られ、Databricks ホスト型の使用量と、有効にした場合は外部モデルの支出をカバーできます。これらを使用して AI の支出を予測可能に保ち、予期しないコストを防ぎます。

以下の各設定は、予算が適用される場所( スコープ )と、強制される制限( threshold )を定義します。金額は例です。予算を構成するには、予算の作成を参照してください。

目標

予算の設定

組織の AI 総支出に上限を設定する

アカウント全体に予算の範囲を設定します。月額40,000ドルおよび45,000ドルでEメールを送信し、月額50,000ドルで使用をブロックする共有thresholdを追加します。ユーザーごとに月額200ドルのthresholdを設定し、パワーユーザーにはより高いグループの上書きを設定します。

各チームに独自の割り当てを与える

各チームのワークスペースに予算を作成します。チームの月割り当てもしくはそれをブロックする使用量に共有thresholdを追加し、それを下回る場合にチームリーダーにEメールするthresholdを追加します。

ユーザーの暴走した支出が月次予算を使い切る前に停止します

月次ユーザーごとのthresholdに加え、使用量をブロックする日次ユーザーごとのthreshold($25など)を追加します。支出が急増したユーザーは、月間の許容量を使い切るまでではなく、UTCの00:00までブロックされます。それらを必要とするユーザーに対して、より高い日次制限を持つグループオーバーライドを追加します。

最も高価なモデルの使用を制限する

モデルサービス(例:tier=frontier)にタグを付け、そのタグに予算を割り当てます。ユーザーごとの月間低 threshold を追加して、使用をブロックします。それに達したユーザーは、他のモデルを使用できます。

予算をリスクにさらすことなく、誰もが新しいモデルを試せるようにする

新しいモデルのサービスにタグを付け(例えば、tier=experimental)、そのタグに予算の範囲を設定します。使用量をブロックするユーザーごとの月次thresholdを追加します。モデルを昇格させる際にタグを削除して、新しいリクエストが標準の予算にカウントされるようにします。

目標

予算の設定

組織の AI 総支出に上限を設定する

アカウント全体に予算の範囲を設定します。月額40,000ドルおよび45,000ドルでEメールを送信し、月額50,000ドルで使用をブロックする共有thresholdを追加します。ユーザーごとに月額200ドルのthresholdを設定し、パワーユーザーにはより高いグループの上書きを設定します。

各チームに独自の割り当てを与える

各チームのワークスペースに予算を作成します。チームの月割り当てもしくはそれをブロックする使用量に共有thresholdを追加し、それを下回る場合にチームリーダーにEメールするthresholdを追加します。

ユーザーの暴走した支出が月次予算を使い切る前に停止します

月次ユーザーごとのthresholdに加え、使用量をブロックする日次ユーザーごとのthreshold($25など)を追加します。支出が急増したユーザーは、月間の許容量を使い切るまでではなく、UTCの00:00までブロックされます。それらを必要とするユーザーに対して、より高い日次制限を持つグループオーバーライドを追加します。

最も高価なモデルの使用を制限する

モデルサービス(例:tier=frontier)にタグを付け、そのタグに予算を割り当てます。ユーザーごとの月間低 threshold を追加して、使用をブロックします。それに達したユーザーは、他のモデルを使用できます。

予算をリスクにさらすことなく、誰もが新しいモデルを試せるようにする

新しいモデルのサービスにタグを付け(例えば、tier=experimental)、そのタグに予算の範囲を設定します。使用量をブロックするユーザーごとの月次thresholdを追加します。モデルを昇格させる際にタグを削除して、新しいリクエストが標準の予算にカウントされるようにします。

予算は加算されます。リクエストは、その範囲が一致するすべての予算にカウントされます。例えば、組織全体のキャップを、フロンティアモデルと実験モデルの個別の予算と並行してランできます。

アカウントまたはワークスペースの予算​

予算がどこに存在し、誰がそれを所有するかは、組織がどのように支出を管理しているかによって異なります。

  • 一元化(アカウントレベル) :アカウントレベルで管理される単一の予算。一貫したガバナンスが必要で、個々のワークスペースで独自の制限を管理したくない場合に最適です。大規模な環境では、ユーザーごとに制限を設定するのではなく、ユーザーを階層(ロールやコストセンターなど)にセグメント化します。
  • 分散型 (ワークスペースレベル) : 各ワークスペースが独自の予算を所有および管理します。チームやプロジェクトが独立した所有権とアカウンタビリティを持つ場合に最適です (各ワークスペースが 1 つのプロジェクトと環境にマッピングされる場合など)。
  • ハイブリッド : アカウントレベルの予算とワークスペースレベルの予算が共存します。一般的なパターンは、ワークスペースが独自の予算を設定していない場合でもアカウントレベルの予算をガバナンスのセーフガードとして使用して支出を管理する一方で、ワークスペースは独自の日々の制限を管理するというものです。
注記

アカウントレベルの予算とワークスペースレベルの予算は階層型ではなく付加的です。それらは独立して適用され、お互いを上書きしません。

予算を作成する​

ワークスペースから、Unity Gateway > ガバナンス > 予算 > 予算の管理 に移動し、 予算の作成 をクリックします。

アカウントコンソールで予算を作成するには、 「使用量」 > 「予算」 > 「予算の作成」 に移動します。

ガバナンスハブで、 [コスト] > [予算] に移動します。

ステップの詳細は、「予算の作成」を参照してください。

予算設定

コードを使って予算を作成するには、 予算 API または databricks account budgets create コマンド (account budgets コマンドグループ) を使用します。

ステップ 1. 予算スコープを選択します​

範囲は、どの支出を予算に含めるかを決定します。予算作成後は変更できません。

  • リソースタイプ : Unity Gatewayの支出のみを追跡する場合は、 Unity Gateway を選択します。

  • ワークスペースとタグ : 1つ以上のワークスペース、またはすべてのワークスペースを選択し、 リソースタグ で タグの選択 をクリックします。 タグの選択 は、ワークスペースを選択した後に使用可能になります。タグフィルタはサービスタグに一致します。リクエストタグは、どの予算の支出がカウントされるかには影響しません。

  • 外部モデルプロバイダーを含める (ベータ版): 外部モデルからの推定支出をカウントする場合にこのオプションを選択します。Databricksでは、トークンの使用量と、モデルプロバイダーサービスに設定されている価格乗数で調整されたプロバイダーの公開価格から、この支出を推定します。

備考

ベータ版

予算に外部モデルの支出を含める機能はベータ版です。アカウント管理者は、アカウント コンソールの [プレビュー] ページから [予算での外部モデルの支出] プレビューを有効にする必要があります。アカウントレベルのプレビューの管理を参照してください。

ステップ2. 使用量thresholdを設定する​

予算には、以下のthresholdを設定できます。

  • 共有threshold : 予算範囲内のすべてのユーザーの集合的な1か月の支出制限。
  • ユーザー単位のthreshold : 各ユーザーに適用される、日次制限、月次制限、またはその両方。日次のthresholdはUTCカレンダーの日ごとの支出を追跡し、UTCの00:00にリセットされます。月次のthresholdは毎月1日にリセットされます。
  • ユーザーごとのオーバーライド : 特定のユーザーまたはグループに、その期間のdefaultのユーザーごとのthresholdよりも高い1日または1か月の支出制限を付与します。オーバーライドの対象となるユーザーは、defaultのユーザーごとの制限ではなく、オーバーライド額まで支出できます。ユーザーが複数のオーバーライドグループに属している場合は、各期間の最も高いthresholdが適用されます。

ステップ3. アラートと使用量ブロックの設定​

共有およびユーザーごとの各thresholdについて、支出がそのthresholdに達したときに実行するアクションを1つ以上選択します。ユーザーごとのthresholdについては、日次および月次の期間で個別にアクションを選択します。

  • Eメールの送信 : 設定されたアドレスにEメール通知を送信します。ユーザーは引き続きUnity Gatewayにアクセスできます。
  • ブロックの使用 : ユーザーがUnity Gatewayを通じてこれ以上リクエストを行うことを禁止します。ユーザーには、予算が超過したというメッセージが表示されます。アクセスは、thresholdの期間がResetされた後、または管理者がthresholdを増やした後に再開されます。ブロックは近似値です。制限事項を参照してください。
  • WebhookをTriggerする (ベータ版): 1つ以上の特定のアカウントレベルのWebhook送信先にJSONペイロードを送信します。ユーザーごとのthresholdの場合、ペイロードはthresholdに達したユーザーを識別します。アカウント管理者が最初に アカウントレベルのWebhook送信先 プレビューを有効にし、送信先を作成する必要があります。カスタムWebhookをTriggerするを参照してください。

消費が止まる前にオーナーが対応できるように低いthresholdでEメールを送信し、ブロックの使用は最も高い共有thresholdのために予約します。最も高い共有thresholdのみが使用をブロックできます。

予算支出の監視​

管理者は、アカウントコンソールで各予算に対する支出を監視します。ワークスペース管理者は、Governance Hubのコストページを使用できます。開発者は、ターミナルから、またはAPIを介して自分の制限を確認します。

管理者として支出を監視する​

アカウント管理者、および管理または表示する予算のワークスペース管理者は、予算詳細ページでリアルタイムに近い支出を確認できます。 共有支出 ビューには、月初からの推定額、残りの予算、および threshold を含む累積支出グラフが表示されます。予算にユーザーごとのthresholdがある場合、 ユーザー tabに各ユーザーの支出とステータス(下回る、接近、超過)が表示されます。

Unity Gateway予算詳細ページにおける累積支出チャート

予算全体の概要については、アカウント管理者とワークスペース管理者がガバナンスハブのAIページまたはコストページを使用できます。ワークスペース管理者は、割り当てられたワークスペースの予算を表示できます。

開発者としての支出の監視​

コーディングエージェントを使用する開発者は、ugが構成されている端末から自身の制限を確認できます。

Bash
ug usage

出力には、個人および共有の制限が最大5つ表示され、使用率、残額、各制限を適用する予算のIDが表示されます。ug usage --all をラン して、適用可能なすべての制限を確認します。「 使用量の確認」を参照してください。

ユーザーの利用状況を独自のツールで表示するには、Budget Spend Status APIを呼び出します。これは、呼び出し元のプリンシパルの予算のブロッキングthresholdに対する利用状況を返し、ブロッキングthresholdのない予算については"not found"を返します。

ユーザーが自分の制限を確認し、誰に増量依頼すべきかを見つけられるようにするには、「ユーザーの支出制限を表示する」を参照してください。

ベストプラクティス​

  • 個々のユーザーではなく、グループにオーバーライドを付与してください。グループにオーバーライドを適用すると、ユーザーごとに新しいオーバーライドを作成せずに、そのグループにユーザーを追加できます。この方法は、予算ごとの上限100件にそれぞれカウントされるユーザー単位の直接的なオーバーライドよりも、拡張性に優れています。グループを定義する実用的な方法は、コストセンター、チーム、ロールなど、すでに追跡している属性に基づいて定義することです。
  • アカウントレベルのバックストップを維持します。個々のワークスペースが独自の予算を所有している場合に、アカウントレベルの予算をバックストップとして追加し、ワークスペースが独自の予算を設定していない場合でも支出が管理されるようにします。
  • 予算は加算されることに注意してください。ハイブリッド構成では、アカウントレベルとワークスペースレベルの予算の両方が適用されます。一方が他方を上書きすることはありません。

制限事項​

重要

Unity Gatewayの予算は、設定されたthresholdに対して追跡された支出のほぼリアルタイムの概算を提供しますが、実際に発生するコストは設定されたthresholdと異なる場合があります。この機能は、ほぼリアルタイムのコスト管理を支援することを目的としています。最終的な請求額に対する絶対的な支出上限を保証する方法として、この機能を使用しないでください。Databricksは、設定された予算thresholdを超えて発生した費用について責任を負いません。

  • タスク固有のAI関数リクエストはUnity Gatewayの予算にカウントされますが、system.ai_gateway.usageテーブルには記録されません。請求された使用量を表示するには、system.billing.usageをクエリーします。AI 関数ワークロードのコストを表示するを参照してください。

  • 各予算は最大4つの共有thresholdと100のユーザー別オーバーライドをサポートします。

  • アカウントには最大1,000個の予算を設定できます。

  • 使用をブロックするthresholdは概算で適用されます。 適用にはコストのほぼリアルタイムの推定値が使用されるため、実際の支出は設定されたthresholdを上回ったり下回ったりする可能性があります。これは以下を意味します:

    • 実際の支出がthresholdに達する前に、ユーザーがブロックされる場合があります。
    • 適用が有効になる前に、thresholdを超える支出が発生する可能性があります。thresholdに達したときに進行中のアクティブなリクエストは中断されません。

    system.billing.usage は、実際のDatabricks請求使用量における信頼できる情報源のままです。予算に対して追跡された使用状況と実際のコストとの間に不一致がある場合、Databricksは予算見積もりを遡及的に調整して調整を行うことがあります。外部モデルの使用状況については、実際のプロバイダー料金のソースは外部プロバイダーの請求書となります。

  • 予算アラートEメール、予算詳細ページ、system.billing.usage、およびsystem.ai_gateway.external_model_spendにおける支出額は、同じ時点で比較した場合に異なる可能性があります。各ソースの更新レートが異なるため、これは想定された動作です:

    • 予算アラートEメール :アラートがTriggerされた時点での支出を反映します。
    • 予算詳細ページ : 頻繁に更新されますが、直後に表示された場合、最新のアラートEメールよりも低い金額が表示されることがあります。
    • system.billing.usage :数時間ごとに更新されます。アラート受信直後にシステムテーブルをクエリすると、予算の詳細ページやアラートEメールよりも低い支出額が返される場合があります。
    • system.ai_gateway.external_model_spend : 外部モデルの推定支出を1時間ごとに更新します。これらの推定額は、最終的なプロバイダーの請求額とは異なる場合があります。

その他のリソース​