メインコンテンツまでスキップ

基盤モデルAPIでプロビジョニングされたthroughputを予約する

このページでは、基盤モデル APIs の予約済みプロビジョニング throughput について説明します。概要、使用するタイミング、予約サイズの決定方法、およびそれを使用する Endpoint の作成と管理方法について解説します。

予約済みのプロビジョニング済みthroughputとは何ですか?​

予約済みのプロビジョニング済みthroughputは、Databricks 基盤モデルAPIsの容量オプションです。共有のキャパシティプールを利用する従量課金(per-token)の提供形態ではなく、一定期間にわたって専用のキャパシティを固定量で予約します。このキャパシティは モデルユニット 単位で測定され、Databricksが予約期間中保持します。

容量は事前に専用かつ予約されているため、共有のトークン単位の従量課金に対する全体的な需要が高い場合でも、その容量のthroughputとレイテンシは一貫した状態に保たれます。予約容量を超えるトラフィックはレート制限の対象となり、トークン単位の従量課金で自動的に処理されることはありません。そのオーバーフローを拒否せずにトークン単位の従量課金に送信するには、Endpoint の前にあるモデルサービスで fallback を構成します。予約容量を超えるトラフィックの処理を参照してください。

予約済みのプロビジョニング済み throughput を使用するタイミング​

予約済みのプロビジョニング済み throughput は、共有プールへのベストエフォート型アクセスではなく、確実な容量を必要とするワークロード向けに設計されています。Databricksでは、次のような場合に推奨します。

  • ビジネスクリティカルなアプリケーションやエージェントを稼働させている場合、モデルに依存する本番運用機能があり、共有容量をめぐって他のトラフィックと競合することができません。
  • 共有のトークン単位の従量課金よりも一貫した可用性と稼働時間が必要になるため、共有プールに対する高負荷がthroughputに与える影響を軽減できます。
  • 予測可能なトラフィックのボリュームが大量である場合や継続的に高い場合、またはトークン単位の従量課金や優先トークン単位の従量課金で容量やレート制限の制約に達している場合にスケーリングを行います。

トラフィックが試験目的や低ボリュームである場合は、トークン単位の従量課金または優先トークン単位の従量課金を参照してください。

サポートされているモデル​

予約済みのプロビジョニング済みthroughputは、サポートされている基盤モデルで利用可能です。Databricks はモデルごとに適格性を管理しており、作成フローには予約可能なモデルのみが表示されます。

予約済みプロビジョニング throughput は、以下のモデルで利用可能です:

プロバイダー

モデル

エンドポイント名

Zhipu AI

GLM 5.3

databricks-glm-5-3

Zhipu AI

GLM 5.3 Flash

databricks-glm-5-3-flash

Zhipu AI

GLM 5.2(レガシー)

databricks-glm-5-2

Moonshot AI

Kimi K3

databricks-kimi-k3

DeepSeek

DeepSeek V4.1 Flash (1017)

databricks-deepseek-v4-1-flash-1017

DeepSeek

DeepSeek V4.1 Flash

databricks-deepseek-v4-1-flash

Alibaba Cloud

Qwen3.5 122B A10B

databricks-qwen35-122b-a10b

プロバイダー

モデル

エンドポイント名

Zhipu AI

GLM 5.3

databricks-glm-5-3

Zhipu AI

GLM 5.3 Flash

databricks-glm-5-3-flash

Zhipu AI

GLM 5.2(レガシー)

databricks-glm-5-2

Moonshot AI

Kimi K3

databricks-kimi-k3

DeepSeek

DeepSeek V4.1 Flash (1017)

databricks-deepseek-v4-1-flash-1017

DeepSeek

DeepSeek V4.1 Flash

databricks-deepseek-v4-1-flash

Alibaba Cloud

Qwen3.5 122B A10B

databricks-qwen35-122b-a10b

注記

Qwen3.5 122B A10B はパブリックプレビュー中です。有効化については、Databricksアカウントチームにお問い合わせください。

予約済みのプロビジョニングされた throughput の仕組み​

容量は モデルユニット 単位で予約します。モデルユニットとは、Endpointが1分あたりに処理できる作業量を設定する、プロビジョニングされたthroughputの単位です。モデルユニット数が多いほど、確保される throughput が大きくなります。モデルユニットは、最小50から50単位で予約します。

予約するモデルユニットの数と期間( term )を選択して、 予約 を作成します。Databricksは、全期間にわたってその専用容量をプロビジョニングします。Endpointは一度に複数の予約を保持でき、その総予約容量は有効な予約全体のモデルユニットの合計になります。

予約済みプロビジョニング済み throughput Endpoint の構成要素については、以下の用語で説明します。

期間

意味

モデルユニット

プロビジョニング済み容量の単位。モデルユニット数が増えると、予約済みthroughputが増加します。モデルユニット見積もりツールを使用して、予想されるトラフィックからプールのサイズを決定します。

予約

Endpointにおけるモデルユニットの前払い分と期間の付与。Endpointでは、それぞれ独自のモデルユニットと期間終了日を持つ複数の予約を同時に保持できます。

期間

予約期間:1か月または3か月。期間が長いほど、ユニットあたりの料金は低くなります。

カバレッジ

Endpointのアクティブな予約の合計となるモデルユニット数。

フォールバック

カバレッジを超えるトラフィックに対してモデルサービスで設定するバックアップの送信先。Databricks は、トークン単位の従量課金に対してトラフィックを自動的にルーティングしません。fallbackがない場合、カバー範囲を超えるトラフィックにはレート制限が適用されます。予約済み容量を超えるトラフィックの処理を参照してください。

期間

意味

モデルユニット

プロビジョニング済み容量の単位。モデルユニット数が増えると、予約済みthroughputが増加します。モデルユニット見積もりツールを使用して、予想されるトラフィックからプールのサイズを決定します。

予約

Endpointにおけるモデルユニットの前払い分と期間の付与。Endpointでは、それぞれ独自のモデルユニットと期間終了日を持つ複数の予約を同時に保持できます。

期間

予約期間:1か月または3か月。期間が長いほど、ユニットあたりの料金は低くなります。

カバレッジ

Endpointのアクティブな予約の合計となるモデルユニット数。

フォールバック

カバレッジを超えるトラフィックに対してモデルサービスで設定するバックアップの送信先。Databricks は、トークン単位の従量課金に対してトラフィックを自動的にルーティングしません。fallbackがない場合、カバー範囲を超えるトラフィックにはレート制限が適用されます。予約済み容量を超えるトラフィックの処理を参照してください。

予約する量を決定する​

予約するモデルユニットの数はユーザーが自由に決定できます。すべてのワークロードを専用容量に割り当てることも、容量を少なめにしてオーバーフローを fallback 付きでトークン単位の従量課金に送信することもできます(予約容量を超えるトラフィックの処理を参照してください)。

  • ベースラインを予約し、ピークをfallbackに送信します。 安定した日常的なトラフィックをカバーするのに十分なモデルユニットを予約し、そのベースラインを超えるバーストがトークン単位の従量課金で実行されるように fallback を構成します。より少ない容量をcommitし、オーバーフロー分に対してのみトークン単位の従量課金で支払います。代わりに、それらのバーストに対してベストエフォート型の共有容量を利用できます。
  • ピーク時に備えて予約します。 ワークロード全体が専用容量で実行されるように、予想される最も繁雑な負荷をカバーするのに十分なモデルユニットを予約してください。これにより、より大きなコミットメントと引き換えに、最も一貫した動作が得られます。

いずれの方法でも、作成フロー内の組み込みの Estimate model units ツールを使用して、ワークロードをモデルユニットに変換します。想定されるリクエストの形状を入力すると、estimator が必要なモデルユニットを返します。

  • 想定される1分あたりのリクエスト数。
  • リクエストあたりの入力トークンの平均数。
  • リクエストあたりの平均出力トークン数。
  • 想定されるキャッシュヒット率です。

ベースラインの規模を見積もるには、通常のトラフィックを入力します。ピーク時に備えて予約するには、最もトラフィックが多いと予想される時間帯を入力します。commitする前であれば、estimatorを何度でもランできます。

トークン単位の従量課金と比較した予約済みプロビジョニングthroughput​

予約済みプロビジョニング済みthroughputとトークン単位の従量課金は、二者択一ではなく補完的な関係にあります。コアトラフィック用に専用容量を予約し、予約済みプールを超えるトラフィックについてはトークン単位の従量課金へのfallbackを設定できます。次の表は、各オプションが適している用途を示しています。

機能

トークンごとの従量課金制

予約済みのプロビジョニング済みthroughput

価格体系

トークン単位(使用量に応じた課金)

予約済み容量(全期間分を請求)

容量

共有プール、ベストエフォート

専用プール(お客様専用に予約済み)

高負荷時のレイテンシー

共有された需要によって変動する可能性があります

予約済み容量に対して一貫性があります

予約

なし

1か月または3か月

どのようなタスクにベストなのか

スパイクの多いトラフィック、内部トラフィック、または探索的トラフィック

本番運用における外部のビジネス重要アプリケーションまたはエージェント

機能

トークンごとの従量課金制

予約済みのプロビジョニング済みthroughput

価格体系

トークン単位(使用量に応じた課金)

予約済み容量(全期間分を請求)

容量

共有プール、ベストエフォート

専用プール(お客様専用に予約済み)

高負荷時のレイテンシー

共有された需要によって変動する可能性があります

予約済み容量に対して一貫性があります

予約

なし

1か月または3か月

どのようなタスクにベストなのか

スパイクの多いトラフィック、内部トラフィック、または探索的トラフィック

本番運用における外部のビジネス重要アプリケーションまたはエージェント

価格の仕組み​

予約済みプロビジョニング済み throughput は、送信したリクエスト数ではなく、予約した容量に基づいて課金されます。予約済み容量の使用の有無にかかわらず、予約期間全体に対して課金されます。

何が起こるか

請求方法

予約済み容量内のトラフィック

期間全体にわたり、予約済み容量として請求されます。

予約済み容量を超えるトラフィック、fallbackの設定あり

オーバーフロー時のトークン単位の従量課金のみ。fallbackの宛先によって課金されます。

予約済み容量を超えるトラフィック(fallbackなし)

レート制限されますが、課金はされません。

予約の有効期限が切れた後のトラフィック

予約済み容量を超える他のトラフィックと同様に処理されます。fallbackを設定している場合はトークン単位の従量課金となり、それ以外の場合はレート制限されます。

何が起こるか

請求方法

予約済み容量内のトラフィック

期間全体にわたり、予約済み容量として請求されます。

予約済み容量を超えるトラフィック、fallbackの設定あり

オーバーフロー時のトークン単位の従量課金のみ。fallbackの宛先によって課金されます。

予約済み容量を超えるトラフィック(fallbackなし)

レート制限されますが、課金はされません。

予約の有効期限が切れた後のトラフィック

予約済み容量を超える他のトラフィックと同様に処理されます。fallbackを設定している場合はトークン単位の従量課金となり、それ以外の場合はレート制限されます。

  • 期間が長いほど、短い期間よりも単位あたりの料金が低くなります。
  • Endpointが異なる期間の予約を同時に保持している場合、それぞれの予約は個別の料金で独立して価格設定されます。
  • 具体的な料金は、モデルおよび期間によって異なります。

始める前に​

要件

詳細

モデルの権限

Unity Catalog内の基盤モデル(system.ai.<model>登録済みモデル)に対するMANAGEが必要です。権限がない場合は、カタログエクスプローラーで管理者に付与を依頼してください。基盤モデルのUnity Catalog権限を参照してください。

対象モデル

予約済みのプロビジョニング済みthroughputは、対象となるモデルでのみ作成できます。サポートされているモデルを参照してください。

要件

詳細

モデルの権限

Unity Catalog内の基盤モデル(system.ai.<model>登録済みモデル)に対するMANAGEが必要です。権限がない場合は、カタログエクスプローラーで管理者に付与を依頼してください。基盤モデルのUnity Catalog権限を参照してください。

対象モデル

予約済みのプロビジョニング済みthroughputは、対象となるモデルでのみ作成できます。サポートされているモデルを参照してください。

予約済みのプロビジョニング済み throughput Endpoint を作成する​

Unity Gatewayから予約済みのプロビジョニング済みthroughputを作成します。

  1. Unity Gatewayで、 + Model を選択します。

  2. モデルサービスに名前を付けます。

  3. Destination でプロビジョニング済みthroughputを選択し、Linkを選択してワークスペース内に新しいサービングEndpointを作成します。 Set up a プロビジョニングされた throughput Endpoint ダイアログが開きます。

    基盤モデル、モデルユニット、予約期間を選択した状態で、プロビジョニングされたthroughput Endpointのダイアログを設定します。

  4. 対象となる基盤モデルを選択します。

  5. モデルユニットを50単位ずつ設定します。 プールをサイジングするには、 [モデルユニットを見積もる] を選択し、想定されるワークロード(1分あたりのリクエスト数、リクエストごとの平均入力・出力トークン数、想定されるキャッシュヒット率)を入力します。すると、見積もりツールに必要なモデルユニットが表示されます。予約量の決定方法をご覧ください。

    ワークロードの入力と推奨されるモデルユニット予約を備えたモデルユニットの推定ダイアログ。

  6. 予約期間 を選択してください:1か月または3か月。期間が長いほど、単価が低くなります。

  7. モデルユニットと期間を確認し、Endpointを作成します。Databricks が専用容量をプロビジョニングします。

注記

Endpointの容量タイプは、作成時に固定されます。既存のEndpointを後から予約済みのthroughputに変換することはできません。代わりに、新しい予約済みプロビジョニング済みthroughput Endpointを作成してください。

表示と監視​

Endpoint詳細ページには、 Reserved プロビジョニング throughput という見出しの Active configuration セクションが表示されており、そこに予約済みのモデルユニットと、各予約の期間、有効期限、ステータスがリスト表示されます。Endpointが、スケールアップやモデル遷移によって複数のスタック予約を保持している場合、それらはリストとして表示されます。

ステータス、アクティブな予約の期間、モデルユニット、有効期限を示す予約済みプロビジョニング済み throughput Endpoint の概要。

メトリクス タブには、1分あたりのリクエスト数、エラー数、レイテンシ(p50、p90、p95、p99)、トークン数、Time-to-First-Token(TTFT)など、通常のサービングテレメトリが表示されるため、使用状況を監視してスケーリングのタイミングを判断できます。

容量のスケールアップ​

容量を追加するには、 [Edit] > [Add capacity] を開き、追加するモデルユニットの数(50単位)を入力して、期間を選択します。これにより、既存の予約の上に新しい予約が積み重ねられます。既存の環境を変更または中断することはありません。その後、詳細ページに各予約がリストされ、それぞれのスケジュールで有効期限が切れます。

[サービングEndpointの編集]ページの[容量の追加] tab で、新しい予約期間にモデルユニットを追加します。

予約を別のモデルに移動する​

モデルのリリースは急速に進むため、今日容量を予約したモデルが、3 か月後にランしたいモデルではない可能性があります。アクティブな予約を、一部または全部、あるプロビジョニング済みthroughput Endpointから、別のモデルを処理する別のプロビジョニング済みthroughput Endpointへ、期間終了を待たずに移行できます。

遷移とは、同じワークスペース内に既に存在する2つのEndpoint間でモデルユニットを移動する処理です。

  • 移動されたモデルユニットは、転送が完了したときに開始される新しい期間で、宛先Endpointでの新しい予約として再発行されます。
  • 取り残されたモデルユニットは、元の期間、有効期限、自動更新設定、およびクールダウン履歴を維持します。
  • コミットされたモデルユニットの合計は変更されません。移行は、既にコミットした容量を再割り当てするものであり、新しい容量を追加するものではありません。容量を追加するには、容量のスケールアップを参照してください。
注記

移行はトラフィックではなくキャパシティを移動します。完了したら、Endpointの前にある Unity Gateway モデルサービスを更新して、トラフィックを宛先に送信します。モデルのルーティングとfallbackの構成を参照してください。

利用可能な移行​

Databricks は、容量の空き状況に応じて、どのモデルが転送先として適格かを決定します。以下のモデルは、容量転送の転送先として適格です。

プロバイダー

モデル

エンドポイント名

Zhipu AI

GLM 5.3

databricks-glm-5-3

Zhipu AI

GLM 5.3 Flash

databricks-glm-5-3-flash

Moonshot AI

Kimi K3

databricks-kimi-k3

DeepSeek

DeepSeek V4.1 Flash (1017)

databricks-deepseek-v4-1-flash-1017

DeepSeek

DeepSeek V4.1 Flash

databricks-deepseek-v4-1-flash

プロバイダー

モデル

エンドポイント名

Zhipu AI

GLM 5.3

databricks-glm-5-3

Zhipu AI

GLM 5.3 Flash

databricks-glm-5-3-flash

Moonshot AI

Kimi K3

databricks-kimi-k3

DeepSeek

DeepSeek V4.1 Flash (1017)

databricks-deepseek-v4-1-flash-1017

DeepSeek

DeepSeek V4.1 Flash

databricks-deepseek-v4-1-flash

予約を移行する​

  1. 宛先Endpointが存在することを確認してください。存在しない場合は、まず宛先モデルのプロビジョニング済みthroughputエンドポイントを予約します。Endpointが転送されたモデルユニットを受け取るためだけのものである場合は、その容量に 0(空のEndpoint) を選択します。予約済みプロビジョニング済みthroughputエンドポイントを作成するを参照してください。

  2. ソースEndpointを開き、 Edit > Transition model を選択します。

    「Serving Endpointの編集」ページの「モデルの移行」tabで、宛先モデルを選択し、移動するモデルユニットと期間を選択します。

  3. 遷移モデル には、送信先Endpointを選択します。

  4. 移行する予約 で、移動する予約を選択します。クールダウン中の予約は選択できません。

  5. キャパシティとコミットメント期間 で、選択した各予約について、次のようにします。

    • 移動するモデルユニット を50単位で設定します。defaultは完全な予約です。
    • 起動する予約期間を選択します。
  6. ターゲットで再発行されるもののサマリーを確認し、 更新 を選択します。

  7. 両方のEndpoint詳細ページの 有効な構成 セクションを確認して新しい予約を確認してから、トラフィックを宛先モデルサービスにリポイントします。

移行ルール​

ルール

詳細

両方のEndpointがすでに存在している必要があります

移行により、同じワークスペース内の2つの予約済みプロビジョニング済みthroughput Endpoint間で容量が移動します。宛先は空でも、既に独自の予約を保持していても構いません。

クールダウン:予約の移行は7日(168時間)に1回のみ可能です。

予約は 7 日に 1 回移行できます。クールダウン中の予約は選択できません。また、新しく購入したモデルユニットをすぐに移動することはできません。Databricks は、ワークスペースあたりの予約転送数を制限する権利を留保します。

モデルユニットは50単位で遷移できます

完全な予約、または50モデルユニット刻みの一部を移動します。

移行によりコミットメント期間がResetされる

移動するモデルユニットは、ソース予約に残っていた時間に関係なく、移行先Endpointで完全に新しい期間を開始し、ソース期間で既に経過した時間は戻されません。1 か月の期間で残り 1 週間の 200 モデルユニットの予約を移動すると、新しい 1 か月の期間で 200 モデルユニットの予約が取得されます。

自動更新は宛先Endpointに引き継がれます

移行されたモデルユニットは、ソースEndpointの自動更新設定を保持します。ソースに残っているモデルユニットは、その自動更新設定とクールダウンを保持します。

課金は宛先モデルのレートに従います

移動したモデルユニットは、選択した期間の移動先モデルのレートで課金されます。価格の仕組みをご覧ください。

空になったソースEndpointは残る

Endpointからすべてのモデルユニットを移動しても、Endpointは削除されません。予約なし、0モデルユニットの状態でワークスペースに残るため、後で容量を戻すか、自分で削除することができます。

ルール

詳細

両方のEndpointがすでに存在している必要があります

移行により、同じワークスペース内の2つの予約済みプロビジョニング済みthroughput Endpoint間で容量が移動します。宛先は空でも、既に独自の予約を保持していても構いません。

クールダウン:予約の移行は7日(168時間)に1回のみ可能です。

予約は 7 日に 1 回移行できます。クールダウン中の予約は選択できません。また、新しく購入したモデルユニットをすぐに移動することはできません。Databricks は、ワークスペースあたりの予約転送数を制限する権利を留保します。

モデルユニットは50単位で遷移できます

完全な予約、または50モデルユニット刻みの一部を移動します。

移行によりコミットメント期間がResetされる

移動するモデルユニットは、ソース予約に残っていた時間に関係なく、移行先Endpointで完全に新しい期間を開始し、ソース期間で既に経過した時間は戻されません。1 か月の期間で残り 1 週間の 200 モデルユニットの予約を移動すると、新しい 1 か月の期間で 200 モデルユニットの予約が取得されます。

自動更新は宛先Endpointに引き継がれます

移行されたモデルユニットは、ソースEndpointの自動更新設定を保持します。ソースに残っているモデルユニットは、その自動更新設定とクールダウンを保持します。

課金は宛先モデルのレートに従います

移動したモデルユニットは、選択した期間の移動先モデルのレートで課金されます。価格の仕組みをご覧ください。

空になったソースEndpointは残る

Endpointからすべてのモデルユニットを移動しても、Endpointは削除されません。予約なし、0モデルユニットの状態でワークスペースに残るため、後で容量を戻すか、自分で削除することができます。

例​

シナリオ

~より前

後

完全な移行: 200モデルユニットすべてをGLM 5.3からKimi K3に移動し、1ヶ月の期間を維持します。

  • GLM 5.3: 1ヶ月契約で200モデルユニット。
  • Kimi K3: 空です。
  • GLM 5.3: 0モデルユニット。
  • Kimi K3: 新しい1か月契約で200モデルユニット、7日間の冷却期間中。

部分移行: 11 月 10 日に、100 モデルユニットを GLM 5.3 から Kimi K3 に移動します。

  • GLM 5.3: 1か月契約で250モデルユニット、12月1日に有効期限切れ。
  • Kimi K3: 50モデルユニット。
  • GLM 5.3: 150モデルユニット、有効期限は依然として12月1日です。
  • Kimi K3: 元の50モデルユニットに加えて、新しい1か月契約で100モデルユニットが追加されます。

期間を延長する: 100 個のモデルユニットすべてを GLM 5.3 から Kimi K3 に移動し、3 か月の期間を選択します。

  • GLM 5.3: 1ヶ月契約で100モデルユニット。
  • Kimi K3: 空です。
  • GLM 5.3: 0モデルユニット。
  • Kimi K3: 3ヶ月の新しい期間で100モデルユニット。

シナリオ

~より前

後

完全な移行: 200モデルユニットすべてをGLM 5.3からKimi K3に移動し、1ヶ月の期間を維持します。

  • GLM 5.3: 1ヶ月契約で200モデルユニット。
  • Kimi K3: 空です。
  • GLM 5.3: 0モデルユニット。
  • Kimi K3: 新しい1か月契約で200モデルユニット、7日間の冷却期間中。

部分移行: 11 月 10 日に、100 モデルユニットを GLM 5.3 から Kimi K3 に移動します。

  • GLM 5.3: 1か月契約で250モデルユニット、12月1日に有効期限切れ。
  • Kimi K3: 50モデルユニット。
  • GLM 5.3: 150モデルユニット、有効期限は依然として12月1日です。
  • Kimi K3: 元の50モデルユニットに加えて、新しい1か月契約で100モデルユニットが追加されます。

期間を延長する: 100 個のモデルユニットすべてを GLM 5.3 から Kimi K3 に移動し、3 か月の期間を選択します。

  • GLM 5.3: 1ヶ月契約で100モデルユニット。
  • Kimi K3: 空です。
  • GLM 5.3: 0モデルユニット。
  • Kimi K3: 3ヶ月の新しい期間で100モデルユニット。
注記

期間は UTC で計算され、1 か月の期間に 30 日、3 か月の期間に 90 日を使用します。有効期限は、次の UTC 深夜に切り上げられます。

有効期限​

  • 有効期限が切れると、予約されたプールは失効します。その後、トラフィックは予約容量を超える他のトラフィックと同様に処理されます。つまり、構成されたトークン単位の従量課金の fallback に送信されるか、fallback がない場合はレート制限されます。予約容量を超えるトラフィックの処理を参照してください。
  • 期間終了後も予約済み容量を維持するには、現在の予約の有効期限が切れる前に新しい予約を作成してください。「容量のスケールアップ」を参照してください。
  • 期限切れの予約は 期限切れ バッジ付きで表示されたままとなり、削除されずに保持されます。

予約済み容量を超えるトラフィックの処理​

予約済みプロビジョニングthroughputEndpointは、予約済み容量からのトラフィックのみを処理します。Databricks は、オーバーフローをトークン単位の従量課金に自動的にルーティングしません。バーストが原因であるか、予約の有効期限が切れたことが原因であるかに関わらず、トラフィックが予約済み容量を超過した場合、それらのリクエストはレート制限エラーで拒否されます。

そのオーバーフローのサービングを維持するには、Endpointの前段にある Unity Gateway モデルサービスにfallbackを設定します。予約済みプロビジョニングthroughput Endpointをプライマリ宛先として設定し、トークン単位の従量課金または優先トークン単位の従量課金 Endpointをfallbackとして設定します。予約済みEndpointがレート制限エラーを返した場合、モデルサービスはfallback宛先に対してリクエストを再試行するため、ワークロードの実行が継続され、オーバーフロー分に対してのみトークン単位の従量課金が発生します。

セットアップのステップについては、モデルのルーティングと fallback の構成を参照してください。

制限事項​

  • 現在のリリースでは、モデルごと、ワークスペースごとに 1 つの予約済みプロビジョニング throughput Endpoint を作成できます。
  • 予約は前払いであり、期間満了まで実行されます。予約を途中でキャンセルすることはできません。
  • アクティブな予約があるEndpointは、予約が終了するまで削除できません。
  • モデルに対する MANAGE を持たないユーザーには、読み取り専用ビューが表示されます。
  • 予約は、7日に1回、厳選された宛先モデルのセットにのみ、別のモデルに移行できます。予約を別のモデルに移動するを参照してください。

基盤モデル APIs のその他の制限については、基盤モデル APIs の制限とクォータを参照してください。

その他のリソース​