メインコンテンツまでスキップ

ワークスペースの Google Cloud リソース割り当てを確認して設定する

Google Cloudでは、予期しない使用量の急増を防ぎ、Google Cloud ユーザーのコミュニティを保護するために、プロジェクトのリソース使用量に割り当て制限を適用しています。 Databricksワークスペースを作成するときは、Google Cloud プロジェクトを指定します。Databricks Databricksこのプロジェクトを使用して、クラスターの仮想マシン インスタンスなどの新しいリソースを作成します。

ワークスペースを作成する前に、ワークスペースと共にクラスターを実行するために使用する予定の Google Cloud プロジェクトで Databricks が必要とする Google Cloud リソースの割り当てを確認してください。クォータの引き上げをリクエストする必要がある場合があります。

すべてのプロジェクトに同じ初期クォータがあるわけではないことに注意してください。 初期割り当ては、Google Cloud アカウントの種類、Google Cloud アカウントの経過年数、その他の要因によって異なります。 Google Cloudの利用が増えると、アカウント内の初期プロジェクトまたは既存プロジェクトの割り当てもそれに応じて増加する可能性があります。 今後、使用量が大幅に増加することが予想される場合は、クォータの調整を事前に要求できます。

important

Databricks が期待どおりに機能するために、プロジェクトのクォータを一部引き上げる必要がある場合があります。 たとえば、プロジェクトが CPU クォータを超えた場合、 Databricks クラスターの起動は失敗します。

Databricks が必要とする Google Cloud リソースの割り当て​

必要な割り当ては、関連する Google API サービスごとにグループ化されます。 最小機能と大規模実行の推奨事項には異なる値があることに注意してください。 必須最小値 列に デフォルト があるセルの場合、Google Cloud デフォルトは初期使用およびテストに使用できます。

コンピュート エンジン API​

コンピュートエンジンAPIの割り当て

必要最低限

大規模な実行に推奨

フィールド名

CPUの

デフォルト

2400

compute.googleapis.com/cpus

ルート

デフォルト

300

compute.googleapis.com/routes

サブネットワーク

デフォルト

275

compute.googleapis.com/subnetworks

使用中の IP アドレス

デフォルト

500

compute.googleapis.com/regional_in_use_addresses

マネージドインスタンス・グループ

デフォルト

500

compute.googleapis.com/instance_group_managers

インスタンスグループ

デフォルト

500

compute.googleapis.com/instance_groups

永続ディスク標準 (GB)

デフォルト

50 TB

compute.googleapis.com/cpus

N2 CPU

デフォルト

300

compute.googleapis.com/cpus

永続ディスク SSD (GB)

デフォルト

50 TB

compute.googleapis.com/disks_total_storage

ローカル SSD (GB)

デフォルト

50 TB

compute.googleapis.com/local_ssd_total_storage

Databricks SQLコンピュートエンジン の 枠API​

SQLウェアハウスは、必要な量の CPU とストレージ リソースをプロビジョニングしないと起動しません。 必要に応じて、リソース クォータを増やして、 SQLウェアハウスの使用をサポートできます。 「クォータの確認と増加」を参照してください。ワークスペースのコストに関する情報については、「 ワークスペースあたりのコスト」を参照してください。

Databricks SQLコンピュートエンジン の 枠API

必要最低限

大規模な実行に推奨

N2 CPU

100

500

永続ディスク SSD (GB)

5 TB

30 TBの

ローカル SSD (GB)

15 TBの

100 TB

クォータ

クラウド モニタリング API​

Cloud モニタリングのクォータ

必要な最小クォータ

大規模に実行するための推奨クォータ

時系列インジェスト要求/分

デフォルト

6000

IDおよびアクセス管理(IAM)API​

IAM のクォータ

必要な最小クォータ

大規模に実行するための推奨クォータ

サービスアカウント数

デフォルト

100

クォータを確認し、クォータの引き上げを要求する​

  1. [Quotas] ページに移動します。クラウド上で Console。

  2. 上部のナビゲーションのプロジェクト ピッカーで、クラスターを実行するためにワークスペースで使用する予定の Google Cloud プロジェクトを選択します。

    Marketplace リスト・プロジェクト・ピッカー

  3. 各 Databricks プロジェクトのクォータについて、Google Cloud リージョンの現在のクォータを確認します。

    1. クォータごとに、クォータ名またはそのフィールド名をフィルタ フィールドに入力します。 ワークスペースをデプロイする Google Cloud リージョンのクォータの行を見つけます。 フィルターエディターでは、リージョンフィルターを追加して、目的のリージョンのクォータのみを確認することができます。 たとえば、特定のリージョンの CPU クォータを検索できます。

      1 つのクォータとリージョンでフィルター処理

    2. クォータの引き上げをリクエストするには、クォータの左側にあるチェックボックスをクリックし、ページの上部にある 「クォータの編集 」と表示されている青いテキストをクリックします。 そのテキストが表示されない場合は、適切な権限またはアカウントの種類を持っていない可能性があります。 Google サポートにお問い合わせのうえ、アカウントの上限の引き上げをリクエストする方法をお問い合わせください。

    3. 右側に表示されるパネルで、Databricks が各クォータ に必要とする Google Cloud リソースクォータ のガイダンスに従って、クォータ値を増やします。 設定した値、ユーザー アカウント、Google Cloud プロジェクトによっては、割り当てを増やすにはサービス プロバイダの承認が必要な場合があります。 クォータの引き上げをリクエストする場合は、ワークスペースを作成する前に、リクエストごとに Eメール の確認を待つ必要があります。

      クォータの引き上げをリクエストする

    4. Databricks が必要とする Google Cloud リソースクォータのすべてのクォータについて、このプロセスを繰り返します。

    5. リクエストしたクォータの引き上げがEメールに確認されるまで待ちます。

important

クォータを変更する場合は、変更後15分、またはクォータの増加に関するEメール確認後、ワークスペースを作成してください。

関連するGoogleドキュメントの記事:

に最終更新