Examiner et définir les quotas de ressources Google Cloud pour un workspace
Google Cloud applique des quotas sur l'utilisation des ressources pour les projets afin de protéger la communauté d'utilisateurs de Google Cloud en évitant les pics d'utilisation imprévus. Lorsque vous créez un Workspace Databricks, vous spécifiez un projet Google Cloud, que Databricks utilise pour créer de nouvelles ressources, telles que des instances de machines virtuelles pour les clusters.
Avant de créer un workspace, examinez les quotas de ressources Google Cloud requis par Databricks sur le projet Google Cloud que vous prévoyez d'utiliser avec votre workspace pour exécuter des clusters. Vous devrez peut-être demander des augmentations de quota.
Notez que tous les projets n'ont pas les mêmes quotas initiaux. Les quotas initiaux peuvent varier en fonction du type de votre compte Google Cloud, de l'ancienneté de votre compte Google Cloud et d'autres facteurs. À mesure que vous utilisez de plus en plus Google Cloud, les quotas pour les projets initiaux ou existants dans votre compte pourraient augmenter en conséquence. Si vous vous attendez à une augmentation notable de l'utilisation à venir, vous pouvez demander de manière proactive des ajustements de quota.
Vous devrez peut-être augmenter certains quotas sur votre projet pour que Databricks fonctionne comme prévu. Par exemple, si un projet dépasse son quota de CPU, le lancement d'un cluster Databricks échoue.
Quotas de ressources Google Cloud requis par Databricks
Les quotas requis sont regroupés par le service Google API pertinent. Notez qu'il existe différentes valeurs pour les fonctionnalités minimales et la recommandation pour monter en charge. Pour les cellules qui ont Default dans la colonne Minimum requis , le default de Google Cloud est acceptable pour une première utilisation et des tests.
API Compute Engine
Quotas pour l'API Compute Engine | Minimum requis | Recommandé pour monter en charge | Nom du champ |
|---|---|---|---|
CPU | Par défaut | 2 400 | compute.googleapis.com/cpus |
Itinéraires | Par défaut | 300 | compute.googleapis.com/routes |
Sous-réseaux | Par défaut | 275 | compute.googleapis.com/subnetworks |
Adresses IP en cours d’utilisation | Par défaut | 500 | compute.googleapis.com/regional_in_use_addresses |
Groupes d'instances gérées | Par défaut | 500 | compute.googleapis.com/instance_group_managers |
Groupes d'instances | Par défaut | 500 | compute.googleapis.com/instance_groups |
Disque persistant standard (GB) | Par défaut | 50 To | compute.googleapis.com/cpus |
CPU N2 | Par défaut | 300 | compute.googleapis.com/cpus |
Disque SSD persistant (Go) | Par défaut | 50 To | compute.googleapis.com/disks_total_storage |
SSD local (Go) | Par défaut | 50 To | compute.googleapis.com/local_ssd_total_storage |
Quotas Databricks SQL pour l'API Compute Engine
Les SQL warehouses ne start pas si vous ne provisionnez pas la quantité requise de ressources de CPU et de stockage. Si nécessaire, vous pouvez augmenter les quotas de ressources pour prendre en charge votre utilisation des SQL Warehouse. Consultez Vérifier et augmenter les quotas. Pour obtenir des informations sur le coût du workspace, consultez le coût par workspace.
Quotas Databricks SQL pour l'API Compute Engine | Minimum requis | Recommandé pour monter en charge |
|---|---|---|
CPU N2 | 100 | 500 |
Disque SSD persistant (Go) | 5 To | 30 To |
SSD local (Go) | 15 To | 100 To |
API Cloud Monitoring
Quotas pour le Monitoring cloud. | Quota minimum requis | Quotas recommandés pour monter en charge |
|---|---|---|
Requêtes d'ingestion de séries chronologiques par minute | Par défaut | 6000 |
Gestion des identités et des accès (IAM) API
Quotas pour IAM | Quota minimum requis | Quotas recommandés pour monter en charge |
|---|---|---|
Nombre de comptes de service | Par défaut | 100 |
Examinez les quotas et demandez des augmentations de quotas
-
Accédez à la page Quotas dans la console Cloud.
-
Dans le sélecteur de projets de la navigation supérieure, sélectionnez le projet Google Cloud que vous comptez utiliser avec votre workspace pour exécuter des clusters.
-
Pour chacun des quotas de projet Databricks, confirmez les quotas actuels pour votre région Google Cloud.
-
Pour chaque quota, saisissez le nom du quota ou le nom de son champ dans le champ de filtre. Recherchez la ligne correspondant au quota pour la région Google Cloud dans laquelle vous déployez votre workspace. Dans l’éditeur de filtre, vous pouvez ajouter un filtre de région pour vous assurer que vous examinez uniquement les quotas de la région souhaitée. Par exemple, vous pouvez rechercher le quota de CPU pour une région spécifique :
-
Pour demander des augmentations de quota, cliquez sur la case à cocher à gauche du quota, et cliquez sur le texte bleu en haut de la page qui indique **MODIFIER LES QUOTAS**. Si vous ne voyez pas ce texte, vous n'avez peut-être pas les bonnes autorisations ou le bon type de compte. Contactez le support Google et demandez comment solliciter des augmentations de quota pour votre compte.
-
Dans le panneau qui apparaît à droite, augmentez les valeurs de quota conformément aux instructions de quotas de ressources Google Cloud requis par Databricks pour chaque quota. Selon les valeurs que vous définissez, votre compte d'utilisateur et le projet Google Cloud, l'augmentation des quotas peut nécessiter l'approbation de votre fournisseur de services. Si vous demandez des augmentations de quota, vous devrez attendre la confirmation par e-mail pour chaque demande avant de créer un workspace.
-
Répétez ce processus pour tous les quotas des quotas de ressources Google Cloud requis par Databricks.
-
Veuillez attendre la confirmation par e-mail de toute augmentation de quota que vous avez demandée.
-
Si vous modifiez des quotas, attendez 15 minutes après les modifications ou la confirmation par e-mail de l'augmentation des quotas avant de créer un Workspace.
Articles de documentation Google associés :