Pular para o conteúdo principal
Última atualização em

Atualizar a configuração de rede do site workspace

info

Visualização

Este recurso está em pré-visualização pública.

Atualize ou reconfigure um serviço de conexão de dados móveis ( workspace ) existente para o serviço privado Connect.​

Esta página fornece instruções passo a passo para atualizar a configuração de rede de um site Databricks workspace existente para usar o Private serviço Connect, alterar as configurações de front-end ou back-end do Private serviço Connect de um site workspace existente ou modificar sua configuração de rede subjacente, como expandir o intervalo de IP de uma sub-rede.

Por que atualizar sua configuração de rede?​

A atualização da configuração da rede workspace oferece os seguintes recursos aprimorados de segurança e conectividade:

  • Segurança aprimorada : Use o Private serviço Connect para estabelecer conexões privadas entre seu VPC e o Databricks serviço.
  • Rede flexível : modifique os intervalos de IP da sub-rede e as configurações de rede para atender aos requisitos da sua organização.
  • integração de serviços : Conecte seu workspace a outro serviço do Google Cloud usando um ponto de extremidade privado.
  • Conectividade personalizada : Defina as configurações de front-end e back-end do Private Service Connect para seu caso de uso específico.

Antes de começar​

  • Para evitar interrupções e garantir uma atualização segura, encerre todos os clusters em execução e as tarefas na página “ workspace”. Você pode reiniciá-los após a conclusão da atualização.
  • Você precisa ter as permissões necessárias no projeto GCP que hospeda a VPC usada pelo workspace. Essas permissões incluem compute.firewalls.get, compute.networks.get, compute.projects.get, compute.subnetworks.get, resourcemanager.projects.get, que permitem que você faça alterações na configuração da rede. Para obter informações sobre essas permissões, consulte Permissões necessárias para a criação workspace.

Alterar a sub-rede de uma rede existente workspace​

Para alterar o intervalo de IP usado pelo seu workspace, você deve criar uma nova sub-rede com o intervalo desejado, criar um novo objeto de configuração de rede e, em seguida, atualizar seu workspace para usar essa nova configuração de rede.

Etapa 1: Criar recurso de nuvem​

Crie o recurso de nuvem necessário em seu projeto do Google Cloud e acesse Databricks account:

  1. Crie uma nova sub-rede : Crie uma sub-rede em sua VPC com o novo intervalo CIDR que o senhor pretende usar em seu projeto do Google Cloud.
  2. Criar um objeto de configuração de rede : Crie o objeto de configuração de rede para a sub-rede em sua account Databricks . Veja o passo 1: Criar uma sub-rede.

o passo 2: Configurar o firewall​

Crie uma nova regra de firewall de entrada para a nova sub-rede. Você deve concluir esta etapa antes de atualizar o workspace para usar o novo intervalo CIDR .

No console do Google Cloud, crie uma regra de firewall com os seguintes valores:

campo

Valor

Nome da regra

db-<subnet-name>-ingress

Direção

Entrada

Destino

tagde rede databricks-<workspace-id>

Prioridade

1000

Filtro de origem

Intervalo IPv4: o intervalo CIDR principal da nova sub-rede

Protocolos e portas

Permitir tudo

Substitua <subnet-name> pelo nome da nova sub-rede e <workspace-id> pelo ID do seu workspace .

Para obter mais informações sobre a configuração do firewall, consulte Limitar a saída de rede do seu workspace usando um firewall.

Passo 3: Conceda à account de serviço workspace a função de rede Databricks v2.​

Antes de atualizar o workspace, você deve conceder à account de serviço workspace a função de rede Databricks v2 na nova sub-rede. Se você ignorar esta etapa, todas as inicializações de máquinas virtuais falharão devido a problemas de permissão.

Para encontrar account do serviço do seu workspace , verifique as permissões IAM na sub-rede antiga. A account de serviço tem o formato db-<workspace-id>@prod-gcp-<geo-region>.iam.gserviceaccount.com.

  1. Obtenha a política IAM existente da sub-rede atual:

    Bash
    gcloud compute networks subnets get-iam-policy <current-subnet> \
      --region=<region> \
      --project=<project>

    O comando retorna um JSON de política semelhante ao seguinte:

    JSON
    {
      "bindings": [
        {
          "role": "projects/<project>/roles/<databricks-network-role-v2>",
          "members": ["serviceAccount:db-<workspace-id>@prod-gcp-<geo-region>.iam.gserviceaccount.com"]
        }
      ]
    }

  2. Use a especificação de vinculação de política como padrão. Crie um novo arquivo JSON (por exemplo, policy.json) com a mesma função e membro, direcionado para a nova sub-rede.

  3. Aplique a política à nova sub-rede:

    Bash
    gcloud compute networks subnets set-iam-policy <new-subnet> policy.json \
      --region=<region>

o passo 4: Atualize o workspace usando a API​

Atualize o site workspace usando a conta Databricks REST API:

  1. Autenticação : Autentique na API da conta. Veja Autorizar acesso ao recurso Databricks. No Google Cloud, você também pode usar a autenticação com tokensde ID do Google.

  2. Executar a API REST :

    • ponto final : PATCH /api/2.0/accounts/{account_id}/workspaces/{workspace_id}

    • Parâmetros do caminho :

      • account_id (obrigatório, uuid)
      • workspace_id (obrigatório, int64)

    • Parâmetros de consulta :

      • update_mask (obrigatório, strings)

  3. Exemplo de solicitação :

    Use o network_id do novo objeto de configuração de rede que você criou no passo 1.

    HTTP
    PATCH /api/2.0/accounts/{account_id}/workspaces/{workspace_id}?update_mask=network_id
    Content-Type: application/json

    {
        "network_id": "fd0cc5bc-683c-47e9-b15e-144d7744a496"
    }

  4. Exemplo de resposta :

    JSON
    {
      "workspace_id": 3389895405782117,
      "workspace_name": "example-ws",
      "creation_time": 1722542958272,
      "deployment_name": "3389895405782117.7",
      "workspace_status": "PROVISIONING",
      "account_id": "2e0b6f3b-e1dc-43ea-93f5-7d55b9d7b780",
      "workspace_status_message": "Workspace resources are being set up.",
      "network_id": "fd0cc5bc-683c-47e9-b15e-144d7744a496",
      "pricing_tier": "ENTERPRISE",
      "location": "us-east4",
      "cloud": "gcp",
      "identity_federation_info": {
        "enable_identity_federation": true
      },
      "gke_config": {
        "connectivity_type": "PRIVATE_NODE_PUBLIC_MASTER",
        "master_ip_range": "10.103.0.0/28"
      },
      "cloud_resource_container": {
        "gcp": {
          "project_id": "databricks-dev-entd-shared"
        }
      }
    }

Etapa 5: Reiniciar o clustering e o trabalho​

Após a conclusão da atualização workspace , aguarde pelo menos 10 minutos para que as alterações se propaguem antes de reiniciar seus clusters e o Job.

Migrar um serviço Connect não privado workspace ou alterar a configuração do serviço Connect privado de um serviço existente workspace​

Conclua estas etapas se estiver migrando um serviço Connect não privado workspace ou alterando a configuração do serviço Connect privado de um serviço existente.

Etapa 1: Criar ou atualizar o recurso de nuvem​

Crie ou atualize o recurso de nuvem necessário:

  1. Ponto de extremidadeVPC : Consulte a etapa 2: Criar ponto de extremidade VPC.
  2. Configurações de acesso privado: consulte Criar configurações de acesso privado.
  3. Configuração de rede: consulte Etapa 6: Criar uma configuração de rede.

O senhor precisa dos IDs para esses recursos no passo 2.

Passo 2: Atualize o arquivo workspace utilizando o comando API​

Para aplicar as alterações, envie uma solicitação de PATCH para a conta API.

  • Autenticação: Autentique na API da conta. Veja Autorizar acesso ao recurso Databricks. No Google Cloud, você também pode usar a autenticação com tokensde ID do Google.

  • ponto final: PATCH /api/2.0/accounts/{account_id}/workspaces/{workspace_id}

  • Parâmetro de consulta: você deve incluir o parâmetro de consulta update_mask para especificar quais campos devem ser atualizados.

    • Exemplo: update_mask=network_id,private_access_settings_id,workspace_name,custom_tags

  • Corpo da solicitação: Inclua os campos que deseja atualizar no corpo JSON. Os campos suportados incluem network_id, private_access_settings_id, workspace_name e custom_tags.

A seguinte solicitação de exemplo atualiza a configuração de rede, as configurações de acesso privado, o nome e tags personalizadas de um workspace:

HTTP
PATCH /api/2.0/accounts/{account_id}/workspaces/{workspace_id}?update_mask=network_id,private_access_settings_id,workspace_name,custom_tags
Content-Type: application/json

{
  "network_id": "6f855d93-8c45-4a4c-a0c9-56e35e16d715",
  "private_access_settings_id": "be123b84-c964-4285-8b03-b7fe961588dc",
  "workspace_name": "updated-ws-name",
  "custom_tags": {
    "test_key": "test_value"
  }
}

A resposta mostra um status PROVISIONING porque a execução workspace é atualizada de forma assíncrona. O workspace retorna a RUNNING após todas as atualizações serem concluídas.

JSON
{
  "workspace_id": 3389895405782117,
  "workspace_name": "example-ws",
  "creation_time": 1722542958272,
  "deployment_name": "3389895405782117.7",
  "workspace_status": "PROVISIONING",
  "account_id": "2e0b6f3b-e1dc-43ea-93f5-7d55b9d7b780",
  "workspace_status_message": "Workspace resources are being set up.",
  "network_id": "fd0cc5bc-683c-47e9-b15e-144d7744a496",
  "pricing_tier": "ENTERPRISE",
  "private_access_settings_id": "3b3bbcb5-46bd-4b03-944e-97eb44ed7991",
  "location": "us-east4",
  "cloud": "gcp",
  "identity_federation_info": {
    "enable_identity_federation": true
  },
  "gke_config": {
    "connectivity_type": "PRIVATE_NODE_PUBLIC_MASTER",
    "master_ip_range": "10.103.0.0/28"
  },
  "cloud_resource_container": {
    "gcp": {
      "project_id": "databricks-dev-entd-shared"
    }
  }
}

Etapa 3: Configurar o DNS (opcional)​

Este passo é necessário se o workspace for um workspace do Serviço Connect Privado após a atualização. Para permitir que os usuários acessem o novo URL workspace , você precisa configurar o DNS. Consulte o passo 9: Configurar DNS.

Etapa 4: configurar o firewall (opcional)​

Esta etapa é necessária se o senhor atualizou o workspace com um objeto de configuração de rede que usa um intervalo CIDR diferente.

Atualize as regras de entrada do seu firewall para permitir o tráfego das novas faixas CIDR da sub-rede. Verifique se a origem da regra de entrada do Databricks está atualizada para refletir o novo intervalo CIDR. Para obter detalhes, consulte Limitar a saída de rede para seu workspace usando um firewall.

Etapa 5: Reiniciar o clustering e o trabalho​

Após a conclusão da atualização do workspace e a configuração de quaisquer alterações necessárias no DNS ou no firewall, é possível reiniciar o clustering e o trabalho.