モデルサービングの制限とリージョン
この記事では、 Databricksモデルサービングの制限事項と利用可能なリージョン、およびサポートされているエンドポイントの種類について概要を説明します。
リソースとペイロードの制限
モデルサービングでは、信頼性の高いパフォーマンスを確保するためにデフォルトの制限が課せられます。これらの制限に関するフィードバックがある場合は、Databricks アカウント チームにお問い合わせください。
このセクションの制限は、カスタム モデルとAI エージェントのエンドポイントにのみ適用されます。基盤モデルAPIsと外部モデルのリソースとペイロード制限については、 「基盤モデルAPIsレート制限とクォータ」を参照してください。
カスタムモデルとAIエージェント
機能 | 粒度 | 上限 |
|---|---|---|
エンドポイント | ワークスペースごと | 1000。増やすには、Databricks アカウント チームにお問い合わせください。 |
1 秒あたりのクエリ数 (QPS) | エンドポイントごと | ルート最適化を使用した 300,000 。1024 の同時実行では不十分な場合は、Databricks アカウント チームに連絡して増加を依頼してください。 |
1 秒あたりのクエリ数 (QPS) | ワークスペースごと | ルート最適化を使用した 300,000 。ルートが最適化されていない場合は 200 です。小規模な開発ユースケースにのみ推奨されます。 |
プロビジョニングされた同時実行数 | モデルごと | カスタム オプションとルート最適化を備えた 1024。増やすには、Databricks アカウント チームにお問い合わせください。 |
プロビジョニングされた同時実行数 | ワークスペースごと | 4096。増やすには、Databricks アカウント チームにお問い合わせください。 |
作成/更新操作 | ワークスペースごと | 5分で50個。 |
ペイロードサイズ | リクエストごと | 16MB。AI エージェントエンドポイントの場合、制限は 4 MB です。 |
要求/応答のサイズ | リクエストごと | 1 MB を超える要求/応答はログに記録されません。 |
モデルの実行時間 | リクエストごと | 297秒 |
CPU エンドポイント モデルのメモリ使用量 | エンドポイントごと | 4 GB |
GPU エンドポイント モデルのメモリ使用量 | エンドポイントごと | GPUの種類によって異なります |
環境変数 | パーサーブモデル | 30.増やすには、Databricks アカウント チームにお問い合わせください。 |
オーバーヘッド遅延 | リクエストごと | ルート最適化により 20 ミリ秒未満。 |
:::
ネットワークとセキュリティの制限
- モデルサービング エンドポイントは 、アクセス制御 によって保護され、IP 許可リストや PrivateLink など、ワークスペースで構成されたネットワーク関連のイングレス ルールを尊重します。
- デフォルトでは、モデルサービングは外部エンドポイントへの PrivateLink をサポートしていません。 この機能のサポートは、リージョンごとに評価および実装されます。 詳細については、 Databricks アカウントチームにお問い合わせください。
- モデルサービングでは、本番運用デプロイメントが不安定になるリスクがあるため、既存のモデルイメージに対するセキュリティパッチの提供は行っておりません。 新しいモデルバージョンから作成された新しいモデルイメージには、最新のパッチが含まれます。 詳細については、 Databricks アカウントチームにお問い合わせください。
- モデルサービングエンドポイントからの送信ネットワークアクセスを制限するには、ネットワークポリシーを設定します。 サーバレス egress 制御については、Manage network ポリシーを参照してください。
コンプライアンス セキュリティ プロファイル標準: CPU と GPU のワークロード
次の表に、外部モデルを含む CPU および GPU ワークロードでのモデルサービングのリージョン、可用性、サポートされているコンプライアンス、セキュリティプロファイル、コンプライアンス標準を示します。
これらのコンプライアンス標準では、提供されるコンテナを最新の 30 日間に組み込む必要があります。 Databricks は、ユーザーに代わって古いコンテナを自動的に再構築します。ただし、この自動ジョブが失敗した場合は、次のようなイベントログメッセージが表示され、エンドポイントがコンプライアンス要件内に収まるようにするためのガイダンスが提供されます。
"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."
リージョン | 場所 | HIPAA | PCI-DSS | FedRAMP Moderate | IRAP | CCCSミディアム(プロテクトB) | 英国サイバーエッセンシャルプラス |
|---|---|---|---|---|---|---|---|
| アジア太平洋（東京） | ✓ | ✓ | ||||
| アジア太平洋（ソウル） | ✓ | ✓ | ||||
| アジア太平洋（ムンバイ） | ✓ | ✓ | ||||
| アジア太平洋（シンガポール） | ✓ | ✓ | ||||
| アジア太平洋（シドニー） | ✓ | ✓ | ✓ | |||
| 中央カナダ | ✓ | ✓ | ✓ | |||
| EU（フランクフルト） | ✓ | ✓ | ||||
| EU（アイルランド） | ✓ | ✓ | ||||
| EU（ロンドン） | ✓ | ✓ | ✓ | |||
| EU（パリ） | ||||||
| 南米（サンパウロ） | ✓ | ✓ | ||||
| 米国東部（バージニア北部） | ✓ | ✓ | ✓ | |||
| 米国東部（オハイオ） | ✓ | ✓ | ✓ | |||
| US Gov West (ペンドルトン) | ||||||
| 米国西部（北カリフォルニア） | ||||||
| 米国西部（オレゴン） | ✓ | ✓ | ✓ |
コンプライアンス security profile standards: ワークロード APIs 基盤モデル
次の表に、次の基盤モデル APIs ワークロードでサポートされているコンプライアンス セキュリティ プロファイル コンプライアンス標準を示します。
- プロビジョニング済みスループット
- トークンごとの従量課金制
- AI Functions モデルと Databricksホスト型モデルを使用したバッチ推論
これらのコンプライアンス標準では、提供されるコンテナを最新の 30 日間に組み込む必要があります。 Databricks は、ユーザーに代わって古いコンテナを自動的に再構築します。ただし、この自動ジョブが失敗した場合は、次のようなイベントログメッセージが表示され、エンドポイントがコンプライアンス要件内に収まるようにするためのガイダンスが提供されます。
"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."
リージョン | 場所 | HIPAA | PCI-DSS | FedRAMP Moderate | IRAP | CCCSミディアム(プロテクトB) | 英国サイバーエッセンシャルプラス |
|---|---|---|---|---|---|---|---|
| アジア太平洋（東京） | ✓ | ✓ | ||||
| アジア太平洋（ソウル） | ✓ | ✓ | ||||
| アジア太平洋（ムンバイ） | ✓ | ✓ | ||||
| アジア太平洋（シンガポール） | ✓ | ✓ | ||||
| アジア太平洋（シドニー） | ✓ | ✓ | ✓ | |||
| 中央カナダ | ✓ | ✓ | ✓ | |||
| EU（フランクフルト） | ✓ | ✓ | ||||
| EU（アイルランド） | ✓ | ✓ | ||||
| EU（ロンドン） | ✓ | ✓ | ✓* | |||
| EU（パリ） | ||||||
| 南米（サンパウロ） | ✓ | ✓ | ||||
| 米国東部（バージニア北部） | ✓ | ✓ | ✓ | |||
| 米国東部（オハイオ） | ✓ | ✓ | ✓ | |||
| US Gov West (ペンドルトン) | ||||||
| 米国西部（北カリフォルニア） | ||||||
| 米国西部（オレゴン） | ✓ | ✓ | ✓ |
* 一部のモデルでは、プロビジョニングされたスループットのために地域をまたいだルーティングが必要なため、UK Cyber Essentials Plus に準拠していません。詳細については、 Databricks アカウントチームにお問い合わせください。
基盤モデル APIの制限
基盤モデルと外部モデルのリソースとペイロード制限を含む、基盤モデルAPIsの詳細情報については、 「基盤モデルAPIsレート制限とクォータ」を参照してください。
利用可能な地域
サポートされていないリージョンのエンドポイントが必要な場合は、Databricks アカウント チームにお問い合わせください。
ワークスペースがモデルサービングをサポートするリージョンにデプロイされているが、サポートされていないリージョンの コントロールプレーン によって提供されている場合、ワークスペースはモデルサービングをサポートしていません。 このようなワークスペースでモデルサービングを使用しようとすると、ワークスペースがサポートされていないことを示すエラーメッセージが表示されます。 詳細については、 Databricks アカウントチームにお問い合わせください。
各モデルサービング機能の地域別可用性の詳細については、 モデルサービング機能の可用性 を参照してください。
Databricks-hosted 基盤モデルのリージョンの可用性については、「Databricksでホストされる基盤モデル」を参照してください。