予約済みプロビジョニング済みthroughput Foundation Model APIs
このページでは、基盤モデルAPIsの予約済みプロビジョン済みthroughputと、それを使用するEndpointの作成および管理方法について説明します。
予約済みのプロビジョニング済みthroughputとは何ですか？
予約済みのプロビジョニング済み throughput は、Databricks 基盤モデル APIs の容量オプションです。トークン単位の従量課金ではなく、単一の基盤モデル上のモデルユニットの固定プールを一定期間予約します。Databricks は、予約期間中、専用の容量でそのプールをバックアップします。
トラフィックが予約プールを超えた場合、超過分は優先的なトークン単位の従量課金で自動的に処理され、それに応じて課金されます。スピルオーバーの動作を参照してください。
Databricks では、ビジネスに不可欠なアプリケーションやエージェントを、保証された信頼性の高い throughput とレイテンシで実行する必要があり、かつトラフィックが予測可能である場合に、予約済みプロビジョニング済み throughput を推奨しています。
サポートされているモデル
予約済みのプロビジョニング済みthroughputは、サポートされている基盤モデルで利用可能です。Databricks はモデルごとに適格性を管理しており、作成フローには予約可能なモデルのみが表示されます。
予約済みプロビジョニング throughput は、以下のモデルで利用可能です：
主要な概念
期間 | 意味 |
|---|---|
モデルユニット | プロビジョニング済み容量の単位。モデルユニットが多いほど、保証されるthroughputも大きくなります。モデルユニット見積もりツールを使用して、予想されるトラフィックに基づいてプールをサイズ設定します。 |
予約 | Endpointにおけるモデルユニットの前払い付与と期間。Endpointは一度に複数の予約を保持でき、それぞれに独自のモデルユニットと期間終了日が設定されます。 |
期間 | 予約期間：1か月または3か月。期間が長いほど、ユニットあたりの料金は低くなります。 |
カバレッジ | Endpointのアクティブな予約の合計となるモデルユニット数。 |
スピルオーバー | カバレッジを超えるトラフィック。リクエストは拒否されず、トークン単位の従量課金制限の範囲内で、優先的なトークン単位の従量課金で自動的に処理されます。スピルオーバーは自動的に有効になります。 |
予約済みのプロビジョニング済みthroughputと比較したトークン単位の従量課金
予約済みのプロビジョニング済みthroughputとトークン単位の従量課金は、二者択一ではなく、相互に補完するものです。予約済みのプロビジョニング済みthroughput Endpointは、予約済みプールを超えるトラフィックに対して、優先的にトークン単位の従量課金を自動的に使用します。次の表は、各オプションの適合箇所を示しています。
機能 | トークンごとの従量課金制 | 予約済みのプロビジョニング済みthroughput |
|---|---|---|
価格体系 | トークン単位（使用量に応じた課金） | 予約済み容量（全期間分を請求） |
容量保証 | 共有プール、ベストエフォート | 専用プール（お客様専用に予約済み） |
高負荷時のレイテンシー | 共有された需要によって変動する可能性があります | 予約済み容量に対して一貫性があります |
予約 | なし | 1か月または3か月 |
どのようなタスクにベストなのか | スパイクの多いトラフィック、内部トラフィック、または探索的トラフィック | 本番運用における外部のビジネス重要アプリケーションまたはエージェント |
価格の仕組み
予約済みプロビジョニング済み throughput は、送信したリクエスト数ではなく、予約した容量に基づいて課金されます。予約済み容量の使用の有無にかかわらず、予約期間全体に対して課金されます。
何が起こるか | 請求方法 |
|---|---|
予約済み容量内のトラフィック | 期間全体にわたり、予約済み容量として請求されます。 |
予約済み容量を超えるスピルオーバー | オーバーフロー時のみ、優先的なトークン単位の従量課金が適用されます。 |
予約の有効期限が切れた後のトラフィック | 優先トークン単位の従量課金。The Endpoint keeps serving, with no reserved プール. |
- 期間が長いほど、短い期間よりも単位あたりの料金が低くなります。
- Endpointが異なる期間の予約を同時に保持している場合、それぞれが独自のレートで個別に価格設定されます。
- 具体的な料金は、モデルおよび期間によって異なります。
始める前に
要件 | 詳細 |
|---|---|
モデルの権限 | Unity Catalog内の基盤モデル（ |
対象モデル | 予約済みのプロビジョニング済みthroughputは、対象となるモデルでのみ作成できます。サポートされているモデルを参照してください。 |
予約済みのプロビジョニング済み throughput Endpoint を作成する
予約済みのプロビジョニング済み throughput は、 サービング ページから作成します。
- サービング ページに移動し、Endpointの作成を開始します。
- サービングされるエンティティを追加し、対象となる基盤モデルを選択します。モデルが予約済みのプロビジョニング済みthroughputをサポートしている場合、 予約済みのプロビジョニング済みthroughput オプションが表示されます。
- モデルユニット を設定します。モデルユニット見積もりツールを使用してプールをサイジングします。予想されるリクエスト形状（リクエストあたりの平均入力/出力トークン数、予想される並列リクエスト数、予想されるキャッシュヒット率）を入力すると、必要なモデルユニットが算出されます。
- 予約期間 を選択してください：1か月または3か月。
- Endpointを作成してください。Databricks は専用容量をプロビジョニングします。
Endpointの容量タイプは、作成時に固定されます。既存のEndpointを後から予約済みのthroughputに変換することはできません。代わりに、新しい予約済みプロビジョニング済みthroughput Endpointを作成してください。
表示と監視
The Endpoint詳細ページには、 予約済みプロビジョニング throughput という見出しの アクティブな構成 セクションが表示され、予約済みのモデルユニットと各予約の期間、有効期限、ステータスが一覧表示されます。Endpointがスケールアップやアップグレードによる複数の予約を保持している場合、それらはリストとして表示されます。
メトリクス タブには、1分あたりのリクエスト数、エラー数、レイテンシ（p50、p90、p95、p99）、トークン数、Time-to-First-Token（TTFT）など、通常のサービングテレメトリが表示されるため、使用状況を監視してスケーリングのタイミングを判断できます。
容量のスケールアップ
容量を追加するには、 編集 > 容量の追加 を開き、追加するモデルユニット数を入力して、期間を選択します。これにより、既存の予約に積み重ねる形で新しい予約が作成されます。既存の環境を変更したり中断したりすることはありません。詳細ページには各予約が一覧表示され、それぞれ個別のスケジュールで有効期限が切れます。
有効期限
- 有効期限が切れると予約プールは失効し、Endpointは優先的なトークン単位の従量課金で処理を継続します。これはfallbackであり、停止ではありません。
- 期間終了後も予約済み容量を維持するには、現在の予約の有効期限が切れる前に新しい予約を作成してください。「容量のスケールアップ」を参照してください。
- 期限切れの予約は 期限切れ バッジ付きで表示されたままとなり、削除されずに保持されます。
スピルオーバーの動作
スピルオーバーは自動的に有効になります。構成する項目はありません。トラフィックが予約済み容量を超過した場合（バーストによるものか、予約の有効期限が切れたことによるものかを問わず）、それらのリクエストはレート制限エラーで拒否されるのではなく、優先トークン単位の従量課金で自動的に処理されます。ワークロードは実行され続け、オーバーフロー分に対してのみトークン単位で課金されます。スピルオーバーリクエストは、トークン単位の従量課金のレート制限によって制限されます。
制限事項
- 現在のリリースでは、モデルごと、ワークスペースごとに 1 つの予約済みプロビジョニング throughput Endpoint を作成できます。
- 予約は前払いであり、期間満了まで実行されます。予約を途中でキャンセルすることはできません。
- アクティブな予約があるEndpointは、予約が終了するまで削除できません。
- モデルに対する
MANAGEを持たないユーザーには、読み取り専用ビューが表示されます。
基盤モデル APIs のその他の制限については、基盤モデル APIs の制限とクォータを参照してください。