Criar um workspace usando a conta API

O senhor pode criar um espaço de trabalho usando a conta API. A conta API permite que o senhor crie programaticamente vários novos espaços de trabalho Databricks associados a um único Databricks account. Cada workspace que o senhor cria pode ter diferentes definições de configuração. Como alternativa, o senhor pode criar um workspace usando o consoleaccount ou Terraform.

defaultDatabricks Por meio do, o cria e gerencia o ciclo de vida do workspace VPCdo. Opcionalmente, o senhor pode especificar seu próprio gerenciador de clientes VPC. Esse recurso requer o nível Premium Preços.

Crie um workspace com o default VPC usando a conta API

Este tópico descreve como usar a conta API para criar um workspace que tenha um Databricks-gerenciar VPC. Para criar um workspace que use um cliente-gerenciador VPC, siga as instruções em Create a workspace with a customer-gerenciar VPC using the account API.

O senhor pode usar a conta API para criar um workspace. A conta API é uma account-level API, o que significa que a autenticação é diferente da maioria das Databricks REST APIs, que são workspace-level APIs. Para autenticação em account-level APIs, o senhor deve usar a autenticação do Google ID e criar dois tipos diferentes de tokens (tokens de ID do Google e tokens de acesso do Google) que serão incluídos como cabeçalhos HTTP em cada solicitação de conta API. Consulte Autenticação com tokens de ID do Google.

Ações relacionadas:

Veja a conta API referência completa.
Crie o workspace usando o consoleaccount.

Para criar um workspace com o default VPC usando a conta API:

Certifique-se de que o serviço account que o senhor está usando tenha as permissões corretas para a criação do workspace. Esse é seu serviço principal account, chamado SA-2, conforme descrito em Autenticação com o Google ID tokens. O serviço account precisa de uma das seguintes funções ou grupos de funções no projeto do Google Cloud no qual o workspace foi criado:
- Proprietário (roles/owner)
- Tanto o Editor (roles/editor) quanto o Administrador do IAM do Projeto (roles/resourcemanager.projectIamAdmin).
1. Acesse a página de IAM do projeto no console do Google Cloud.
2. Se necessário, altere o projeto no seletor de projetos na parte superior da página para que corresponda ao projeto do site workspace.
3. Se o serviço account já tiver funções nesse projeto, o senhor poderá encontrá-lo nessa página e revisar suas funções na coluna Role (Função ).
4. Para adicionar novas funções ao serviço account nesse projeto:
  1. Na parte superior da página de IAM, clique em ADICIONAR .
  2. No campo Principal , digite o endereço email do serviço account.
  3. Clique no campo Selecionar uma função . Escolha uma função necessária. Para as funções Proprietário, Visualizador e Editor, você pode encontrá-las no seletor na categoria Básico .
  4. Para adicionar outras funções, clique em ADICIONAR OUTRA FUNÇÃO e repita as etapas anteriores em “Para adicionar funções”.
  5. Clique em SALVAR .
Se o senhor ainda não tiver feito isso ou se o seu Google ID ou acesso tokens tiver expirado, crie os dois tipos de tokens para autenticação do Google ID na conta API.
Calcule as sub-redes GKE usadas por seu Databricks workspace. O senhor não pode alterá-los depois que o workspace for implantado. Se os intervalos de endereços das sub-redes do Databricks forem muito pequenos, o workspace esgotará seu espaço IP, o que causará falha no trabalho do Databricks. Para determinar o tamanho do intervalo de endereços de que o senhor precisa, use a calculadora fornecida pela Databricks.
Crie um default workspace usando o seguinte comando.
Bash
```
curl --location --request POST 'https://accounts.gcp.databricks.com/api/2.0/accounts/<account-id>/workspaces' \
--header 'X-Databricks-GCP-SA-Access-Token: <google-access-token>' \
--header 'Authorization: Bearer <google-id-token>' \
--header 'Content-Type: application/json' \
--data-raw '{
   "workspace_name": "<workspace-name>",
   "cloud": "gcp",
   "location": "<region>",
   "cloud_resource_container": {
       "gcp": {
          "project_id": "<workspace-resource-project-id>"
       }
   },
}
'
```
Substituir:
- <google-id-token> e <google-access-token> com seu Google ID e tokens de acesso do Google.
- <account-id> com sua IDaccount.
- <workspace-name> com um nome legível por humanos para seu novo workspace.
- <region> com o nome de uma região compatível.
- <workspace-resource-project-id> com o projeto do Google Cloud que você deseja usar.
Defina parâmetros opcionais:
- (Opcional) Para substituir o padrão do parâmetro GKE, adicione um objeto gke_config na solicitação. Por exemplo, mudar para o clustering GKE público ou alterar o intervalo de IP para o recurso mestre de clustering GKE. Consulte Criar um novo workspace.
- (Opcional) Para substituir os intervalos de IP da rede gerenciar padrão, adicione um objeto gcp_managed_network_config na solicitação. Por exemplo, altere os intervalos de IP para pods de clustering, serviço de clustering ou o intervalo de IP no formato CIDR a ser usado para a sub-rede. Consulte Criar um novo workspace.

nota

Os intervalos de IP para pods, serviço e intervalo de IP principal devem ser mutuamente exclusivos. Os intervalos de IP desses campos não devem se sobrepor e todos os endereços IP devem estar inteiramente dentro dos seguintes intervalos: 10.0.0.0/8, 100.64.0.0/10, 172.16.0.0/12, 192.168.0.0/16 e 240.0.0.0/4.

(Opcional) O senhor pode adicionar a chave de criptografia do gerenciador de clientes para ajudar a controlar o acesso a alguns tipos de dados. Consulte Chave de gerenciar clientes para criptografia. Para configurar a chave com o workspace, o senhor precisa ter criado um objeto de configuração de criptografia key para poder referenciá-lo por ID nos parâmetros storage_customer_managed_key_id (para armazenamento workspace ) ou managed_services_customer_managed_key_id (para serviço gerenciado). Consulte Configurar chave gerenciadora de clientes para obter os requisitos e o contexto da criptografia.

Confirme que o site workspace foi criado com sucesso. Ao lado do site workspace na lista de espaços de trabalho, clique em Open . Para view workspace status e testar o workspace, consulte view workspace status.
Prenda as caçambas do workspace's GCS. Consulte Proteger os workspace's GCS buckets em seu projeto.

Quando o senhor cria um workspace, Databricks on Google Cloud cria dois buckets Google Cloud Storage (GCS) no seu projeto do Google Cloud. Databricks Recomenda-se enfaticamente que o senhor proteja esses GCS baldes de modo que eles não possam ser acessados de fora Databricks on Google Cloud

Durante a criação do workspace, o Databricks habilita alguns itens necessários do Google APIs no projeto, caso ainda não estejam habilitados. Consulte Ativação do Google APIs em um projeto workspace.

Criar um workspace com um cliente-gerenciar VPC usando a conta API

Antes de criar um workspace com um cliente-gerenciar VPC, é necessário criar um objeto Databricks chamado configuração de rede, que representa o Google Cloud VPC que o senhor planeja usar, bem como objetos relacionados, como sub-redes. O senhor especifica a configuração de rede ao criar o site Databricks workspace. O senhor não pode mover um workspace existente com um Databricks-gerenciar VPC para o seu próprio VPC. Além disso, após a criação do workspace, o senhor não pode alterar o gerenciador de clientes VPC que o workspace usa.

O senhor também pode executar a tarefa descrita neste artigo usando o consoleaccount. No entanto, para configurar um cliente - gerenciar VPC, o principal do Google Cloud que precisa de funções específicas nos projetos do Google Cloud depende de como o senhor realiza as operações. Para usar o consoleaccount, o principal é o usuário administrador account. Para usar a conta API, o principal é o serviço principal account (SA-2) que o senhor usará para a autenticação do Google ID.

O senhor pode usar a conta API para adicionar uma configuração de rede e também para criar um workspace. A conta API é uma account-level API, o que significa que a autenticação é diferente da maioria das Databricks REST APIs, que são workspace-level APIs. Para autenticação em account-level APIs, o senhor deve usar a autenticação do Google ID e criar dois tipos diferentes de tokens (tokens de ID do Google e tokens de acesso do Google) que serão incluídos como cabeçalhos HTTP em cada solicitação de conta API. Para obter detalhes, consulte Autenticação com tokens de ID do Google.

Configure sua VPC

Execute as etapas a seguir, descritas nos artigos Configure a customer-gerenciar VPC:

Não execute outras etapas nesse artigo.

Adicionar funções ao seu serviço account

O diretor que executa uma operação deve ter funções específicas exigidas para cada operação. O principal que precisa de funções específicas no projeto depende de como o senhor realiza as operações.

Para usar o console de contas, a entidade é a sua conta de usuário administrador.
Para usar a conta API, o principal é o serviço principal account (SA-2) que o senhor usa para a autenticação do Google ID.

Um serviço account não herda automaticamente as funções do senhor como seu criador. O senhor deve adicionar funções para o serviço account no projeto.

Usando os artigos Configure a customer-gerenciar VPC, execute estas etapas:

Analise as funções necessárias nos projetos para criar um site workspace e outras operações relacionadas.
Siga as instruções para adicionar funções específicas em projetos, mas com uma modificação no uso da conta API: não especifique o endereço do usuário administrador account email como o principal. Em vez disso, especifique o principal como o endereço email do serviço principal account (SA-2) que o senhor usará para a autenticação do Google ID.

registro de uma configuração de rede

O senhor pode usar a conta API para adicionar uma configuração de rede. Para obter uma referência completa em API ou para download a especificação OpenAPI, consulte a conta API.

important

Ambos os tipos de autenticação tokens (tokens de ID do Google e acesso ao Google tokens) expiram em uma hora. Considere ler inicialmente a documentação do Google ID, mas espere para criar sua autenticação tokens até que o senhor esteja pronto para chamar a conta API.

Habilite o Cloud Recurso Manager API no projeto do seu serviço account
1. Acesse o Cloud Recurso Manager API.
2. Se necessário, use o seletor de projetos na parte superior da página para alterar o projeto para o projeto do Google Cloud em que o serviço account que o senhor usará foi criado. Nos exemplos do Google ID, esse serviço principal account também é chamado de SA-2.
3. Se você ver o botão Ativar , clique em Ativar . Espere 1 minuto antes de continuar.
  
  Se o botão Enable não estiver visível, a API já está ativada.
Se o senhor ainda não tiver feito isso, ou se o seu Google ID ou tokens de acesso tiverem expirado, crie os dois tipos de tokens necessários para a autenticação do Google ID.

Crie a configuração de rede usando a API REST com o seguinte comando.

Bash
curl --location --request POST 'https://accounts.gcp.databricks.com/api/2.0/accounts/<account-id>/networks' \
--header 'X-Databricks-GCP-SA-Access-Token: <google-access-token>' \
--header 'Authorization: Bearer <google-id-token>' \
--header 'Content-Type: application/json' \
--data-raw '{
 "network_name": "<network-configuration-name>",
 "gcp_network_info": {
   "network_project_id": "<vpc-host-project-id>",
   "vpc_id": "<vpc-id>",
   "subnet_id": "<subnet-id>",
   "subnet_region": "<subnet-region>",
   "pod_ip_range_name": "<name-of-pod-secondary-range>",
   "service_ip_range_name": "<name-of-svc-secondary-range>"
 }
}'

Substitua <google-id-token> e <google-access-token> por seu Google ID e tokens de acesso do Google.
Substitua <account-id> pela ID de sua conta.
Substitua <network-configuration-name> por um novo nome de configuração de rede legível por humanos.
Substitua <vpc-host-project-id> pelo ID do projeto de sua VPC.

important

Se o senhor usar um Google Cloud Shared VPC, que permite um projeto diferente do Google Cloud para o seu recurso workspace, como compute recurso e armazenamento, defina isso como o ID do projeto para o seu VPC, e não o ID do projeto para o seu recurso workspace.

Defina os campos <vpc-id>, <subnet-id> e <subnet-region> como o ID da VPC, o ID da sub-rede e a região da sub-rede. A região da sub-rede deve corresponder à região que o senhor deseja usar com seu novo workspace.
Para <name-of-pod-secondary-range> e <name-of-svc-secondary-range>, substitua pelo intervalo secundário do pod e pelo intervalo secundário do serviço que o senhor criou nas etapas anteriores. Se o senhor usou o exemplo anterior para criar a VPC autônoma com o comando gcloud CLI, esses intervalos de IP secundários são denominados pod e svc.

Os intervalos de IP para pods, serviço e intervalo de IP principal devem ser mutuamente exclusivos. Os intervalos de IP desses campos não devem se sobrepor e todos os endereços IP devem estar inteiramente dentro dos seguintes intervalos: 10.0.0.0/8, 100.64.0.0/10, 172.16.0.0/12, 192.168.0.0/16 e 240.0.0.0/4.

Isso retorna um objeto de configuração de rede formatado em JSON:

JSON
{
  "account_id": "e11e38c5-a449-47b9-b37f-0fa36c821612",
  "creation_time": 1644388480866,
  "gcp_network_info": {
    "network_project_id": "<vpc-host-project-id>",
    "pod_ip_range_name": "<name-of-pod-secondary-range>",
    "service_ip_range_name": "<name-of-svc-secondary-range>",
    "subnet_id": "<subnet-id>",
    "subnet_region": "<subnet-region>",
    "vpc_id": "<vpc-id>"
  },
  "network_id": "<network-configuration-id",
  "network_name": "<network-configuration-name>",
  "vpc_status": "UNATTACHED"
}

Salve o campo network_id no resultado. Esse é o ID do seu objeto de configuração de rede. O senhor precisará dele para criar o site workspace.

Criar um workspace com um cliente-gerenciar VPC

Execute as etapas a seguir para usar a conta API para criar uma workspace com um cliente-gerenciador VPC. Para obter uma referência completa em API ou para download a especificação OpenAPI, consulte a conta API. Para criar um workspace com a Databricks VPCconta -gerenciar, consulte Criar um workspace com default VPC a conta usando a API conta.

important

Se o senhor ainda não tiver feito isso, ative o Cloud Recurso Manager API no projeto do seu serviço account. Se você já fez isso, vá para a próxima etapa desta seção.
1. Acesse o Cloud Recurso Manager API.
2. Se necessário, use o seletor de projetos na parte superior da página para alterar o projeto para o projeto do Google Cloud em que o serviço account que o senhor usará foi criado. Nos exemplos do Google ID, esse serviço principal account também é chamado de SA-2.
3. Se você ver o botão Ativar , clique em Ativar . Espere 1 minuto antes de continuar.
Certifique-se de que o serviço account que o senhor está usando tenha as permissões corretas para a criação do workspace. Esse é seu serviço principal account, chamado SA-2, conforme descrito em Autenticação com o Google ID tokens. Consulte Requisitos da função.

important

Se o senhor usar um Google Cloud Shared VPC, que permite um projeto diferente do Google Cloud para o seu recurso workspace, como compute recurso e armazenamento, observe que precisa de funções específicas em ambos os projetos.

Se ainda não tiver feito isso, ou se o seu Google ID ou tokens de acesso tiverem expirado, crie os dois tokens necessários para a autenticação do Google ID nessa API.

Execute o seguinte comando para criar um workspace típico com clustering GKE privado:

Bash
curl --location --request POST 'https://accounts.gcp.databricks.com/api/2.0/accounts/<account-id>/workspaces' \
--header 'X-Databricks-GCP-SA-Access-Token: <google-access-token>' \
--header 'Authorization: Bearer <google-id-token>' \
--header 'Content-Type: application/json' \
--data-raw '{
   "workspace_name": "<workspace-name>",
   "cloud": "gcp",
   "location": "<region>",
   "cloud_resource_container": {
       "gcp": {
           "project_id": "<workspace-resource-project-id>"
       }
   },
   "network_id": "<network-configuration-id>",
   "gke_config": {
       "connectivity_type": "PRIVATE_NODE_PUBLIC_MASTER",
       "master_ip_range": "10.103.0.0/28"
  }
}
'

Substitua <google-id-token> e <google-access-token> por seu Google ID e tokens de acesso do Google.
Substitua <account-id> por sua IDaccount.
Substitua <workspace-name> por um nome legível para o seu novo workspace.
Substitua <region> pelo nome de uma região compatível.
Substitua <workspace-resource-project-id> pelo projeto do Google Cloud que você deseja usar.

important

Se o senhor usar um Google Cloud Shared VPC, que permite um projeto diferente do Google Cloud para seu recurso workspace, como compute recurso e armazenamento, defina o campo ID do projeto do Google Cloud como o ID do projeto para workspace recurso, não o ID do projeto para seu VPC.

Substitua <network-configuration-id> pelo ID do objeto de configuração de rede da etapa anterior em que você o registrou.
(Opcional) Para substituir o padrão do parâmetro GKE, altere o objeto gke_config na solicitação. Por exemplo, mudar para um clustering GKE público ou alterar o intervalo de IP para o recurso mestre do clustering GKE. Consulte Criar um novo workspace.

Os intervalos de IP para pods, serviço e intervalo de IP principal devem ser mutuamente exclusivos. Os intervalos de IP desses campos não devem se sobrepor e todos os endereços IP devem estar inteiramente dentro dos seguintes intervalos: 10.0.0.0/8, 100.64.0.0/10, 172.16.0.0/12, 192.168.0.0/16 e 240.0.0.0/4.
(Opcional) O senhor pode proteger o site workspace com conectividade privada e reduzir os riscos de exfiltração de dados ativando o Google Private Service Connect (PSC) no site workspace. Para configurar isso, você precisa ter criado um objeto de configurações de acesso privado e referenciar seu ID no parâmetro private_access_settings_id. Antes de adicionar a configuração do PSC, o site Databricks recomenda enfaticamente a leitura dos artigos Enable Private serviço Connect for your workspace para conhecer os requisitos e o contexto.
(Opcional) O senhor pode adicionar a chave de criptografia do gerenciador de clientes para ajudar a controlar o acesso a alguns tipos de dados. Consulte Chave de gerenciar clientes para criptografia. Para configurar a chave com o workspace, o senhor precisa ter criado um objeto de configuração de criptografia key para poder referenciá-lo por ID nos parâmetros storage_customer_managed_key_id (para armazenamento workspace ) ou managed_services_customer_managed_key_id (para serviço gerenciado). Consulte Configurar chave gerenciadora de clientes para obter os requisitos e o contexto da criptografia.

Confirme que o site workspace foi criado com sucesso. Ao lado do site workspace na lista de espaços de trabalho, clique em Open . Para view workspace status e testar o workspace, consulte view workspace status.
Prenda as caçambas do workspace's GCS. Consulte Proteger os workspace's GCS buckets em seu projeto.

Quando o senhor cria um workspace, Databricks on Google Cloud cria dois buckets Google Cloud Storage (GCS) no seu projeto do Google Cloud. Databricks Recomenda-se enfaticamente que o senhor proteja esses GCS baldes de modo que não possam ser acessados de fora Databricks on Google Cloud.

Crie um workspace com o default VPC usando a conta API​

Criar um workspace com um cliente-gerenciar VPC usando a conta API​

Configure sua VPC​

Adicionar funções ao seu serviço account​

registro de uma configuração de rede​

Criar um workspace com um cliente-gerenciar VPC​

Crie um workspace com o default VPC usando a conta API

Criar um workspace com um cliente-gerenciar VPC usando a conta API

Configure sua VPC

Adicionar funções ao seu serviço account

registro de uma configuração de rede

Criar um workspace com um cliente-gerenciar VPC