Revisar e definir cotas de recurso do Google Cloud para um workspace
O Google Cloud impõe cotas de uso de recursos para projetos a fim de proteger a comunidade de usuários do Google Cloud, evitando picos imprevistos de uso. Ao criar um Databricks workspace, o senhor especifica um projeto do Google Cloud, que o Databricks usa para criar novos recursos, como instâncias de máquinas virtuais para clustering.
Antes de criar um workspace, analise as cotas de recurso do Google Cloud que o Databricks requer no projeto do Google Cloud que você planeja usar com seu workspace para executar o clustering. Talvez seja necessário solicitar aumentos de cota.
Observe que nem todos os projetos têm as mesmas cotas iniciais. As cotas iniciais podem variar de acordo com o tipo do seu Google Cloud account, a idade do seu Google Cloud account e outros fatores. À medida que o senhor usa cada vez mais o Google Cloud, as cotas para projetos iniciais ou existentes no seu site account podem aumentar de acordo. Se você espera um notável aumento futuro no uso, pode solicitar proativamente ajustes de cota.
Talvez o senhor precise aumentar algumas cotas em seu projeto para que o Databricks funcione como esperado. Por exemplo, se um projeto exceder sua cota de CPU, o lançamento de um cluster Databricks falhará.
Cotas de recurso do Google Cloud que o site Databricks exige
As cotas necessárias são agrupadas pelo serviço relevante da API do Google. Observe que há valores diferentes para a funcionalidade mínima e a recomendação para execução em escala. Para as células que têm padrão na coluna Required minimum , o Google Cloud default é aceitável para uso inicial e testes.
Mecanismo de computação API
Cotas para o mecanismo de computação API | Mínimo exigido | Recomendado para execução em escala | Nome do campo |
|---|---|---|---|
CPUs | Padrão | 2400 | compute.googleapis.com/cpus |
Rotas | Padrão | 300 | compute.googleapis.com/routes |
Sub-redes | Padrão | 275 | compute.googleapis.com/subnetworks |
Endereços IP em uso | Padrão | 500 | compute.googleapis.com/regional_in_use_addresses |
gerenciar grupos de instância | Padrão | 500 | compute.googleapis.com/instance_group_managers |
Grupos de instâncias | Padrão | 500 | compute.googleapis.com/instance_groups |
Padrão de disco permanente (GB) | Padrão | 50 TB | compute.googleapis.com/cpus |
CPUs N2 | Padrão | 300 | compute.googleapis.com/cpus |
Disco persistente SSD (GB) | Padrão | 50 TB | compute.googleapis.com/disks_total_storage |
SSD local (GB) | Padrão | 50 TB | compute.googleapis.com/local_ssd_total_storage |
Databricks SQL cotas para o mecanismo de computação API
SQL O warehouse não começará se o senhor não provisionar a quantidade necessária de CPU e recurso de armazenamento. Se necessário, o senhor pode aumentar as cotas de recurso para apoiar o uso do SQL warehouse. Consulte Revisar e aumentar as cotas. Para obter informações sobre o custo do workspace, consulte o custo por workspace.
Databricks SQL cotas para o mecanismo de computação API | Mínimo exigido | Recomendado para execução em escala |
|---|---|---|
CPUs N2 | 100 | 500 |
Disco persistente SSD (GB) | 5 TB | 30 TB |
SSD local (GB) | 15 TB | 100 TB |
API de monitoramento de nuvem
Cotas para monitoramento de nuvem | Cota mínima exigida | Cotas recomendadas para execução em escala |
|---|---|---|
Solicitações de ingestão de séries temporais por minuto | Padrão | 6000 |
API de gerenciamento de identidade e acesso (IAM)
Cotas para IAM | Cota mínima exigida | Cotas recomendadas para execução em escala |
|---|---|---|
serviço account count | Padrão | 100 |
Analise as cotas e solicite aumentos de cotas
-
Vá para a página Cotas no Console da nuvem.
-
No seletor de projetos da navegação superior, selecione o projeto do Google Cloud que o senhor planeja usar com seu workspace para executar o clustering.
-
Para cada uma das cotas do projeto Databricks, confirme as cotas atuais da sua região do Google Cloud.
-
Para cada cota, digite o nome da cota ou o nome do campo no campo de filtro. Encontre a linha da cota para a região do Google Cloud na qual o senhor implantou seu workspace. No editor de filtros, você pode adicionar um filtro de região para garantir que esteja revisando somente as cotas da região desejada. Por exemplo, você pode pesquisar a cota de CPUs para uma região específica:
-
Para solicitar aumentos de cota, clique na caixa de seleção à esquerda da cota e clique no texto azul na parte superior da página que diz EDITAR COTAS. Se o texto não for exibido, talvez o senhor não tenha as permissões corretas ou o tipo de account. Entre em contato com o Suporte do Google e pergunte como solicitar aumentos de cota para o seu account.
-
No painel exibido à direita, aumente os valores da cota de acordo com a orientação nas cotas de recurso do Google Cloud que o site Databricks exige para cada cota. Dependendo dos valores definidos, do seu usuário account e do projeto do Google Cloud, o aumento das cotas pode exigir a aprovação do seu provedor de serviços. Se o senhor solicitar aumentos de cota, precisará aguardar a confirmação do email para cada solicitação antes de criar um workspace.
-
Repita esse processo para todas as cotas no Google Cloud recurso quotas que o site Databricks exige.
-
Aguarde a confirmação do email de qualquer aumento de cota que o senhor tenha solicitado.
-
Se o senhor alterar alguma cota, aguarde 15 minutos após as alterações ou a confirmação de aumento de cota pelo site email antes de criar um workspace.
Artigos relacionados à documentação do Google: