Configurar e usar a autenticação de credenciais do Google Cloud
Siga as etapas deste artigo para autenticar a conta de serviço do Google Cloud e automatizar sua conta e seu espaço de trabalho em Databricks.
A conta de serviço do Google Cloud é um tipo especial de conta do Google Cloud account, normalmente usada por um aplicativo, e não por uma pessoa. Um serviço account é identificado por seu endereço email, que é exclusivo do account. Veja a visão geral da conta de serviço.
A conta de serviço do Google Cloud é diferente de Databricks entidade de serviço. A escolha entre usar um serviço do Google Cloud account ou uma entidade de serviço Databricks pode depender das preferências ou políticas de segurança da sua organização. Para saber como usar Databricks entidade de serviço para autenticação Databricks em vez da conta do Google Cloud serviço, consulte gerenciar entidade de serviço.
Databricks fornece duas abordagens para autenticar a conta de serviço do Google Cloud com Databricks:
- Autenticação de credenciais do Google Cloud, que usa pares Google-gerenciar key para autenticação. Este artigo descreve como gerar e usar pares Google-gerenciar key para autenticação de credenciais do Google Cloud. account Consulte também as credenciais do serviço e a autenticação de credenciais do Google Cloud.
- accountAutenticação do Google Cloud ID, que usa o endereço email de um serviço do Google Cloud para autenticação. Para obter mais informações, consulte Configurar e usar a autenticação do Google Cloud ID. Veja também a autenticação do Google Cloud ID.
Este artigo demonstra como configurar e usar a autenticação de credenciais do Google Cloud da seguinte forma:
- Crie uma conta de serviço do Google Cloud.
- Atribua seu serviço do Google Cloud account ao seu Databricks account e a um Databricks workspace nesse account.
- Crie um par Google-gerenciar key para seu serviço Google Cloud account e, em seguida, download a parte privada key desse par Google-gerenciar key. Esse arquivo key privado é necessário para a autenticação de credenciais do Google Cloud para Databricks.
- Instale a CLI da Databricks em sua máquina de desenvolvimento local e, em seguida, configure a CLI da Databricks para autenticação de credenciais do Google Cloud.
- Execute o comando com o Databricks CLI para automatizar seu Databricks account e workspace usando a autenticação de credenciais do Google Cloud.
Requisitos
- Para criar um serviço do Google Cloud account, o senhor deve ter a conta Criar serviço IAM role para o seu projeto do Google. Consulte Funções obrigatórias.
- Para atribuir um serviço do Google Cloud account ao seu Databricks account, o senhor deve ser um administrador desse account. Consulte Atribuir funções de administrador do account a um usuário.
- Para atribuir um serviço do Google Cloud account ao seu Databricks workspace, o senhor deve ser um administrador desse workspace. Consulte Atribuir a função de administrador do workspace a um usuário usando a página de configurações de administrador do workspace.
Etapa 1: Criar um serviço do Google Cloud account
Nesta etapa, o senhor cria um serviço do Google Cloud account para o seu projeto Google de destino no console do Google Cloud.
-
Faça login no console do Google Cloud.
-
Se você tiver acesso a vários projetos, mude para o projeto de destino. Para fazer isso, na barra de navegação superior, ao lado do logotipo do Google Cloud, clique no seletor de projetos. Em seguida, selecione o nome do projeto na lista.
-
Em Search (/) for recurso, docs, produto, and more , procure e selecione serviço account .
-
Clique em + Criar conta de serviço .
-
Na seção de detalhes do serviço account , para o nome do serviço account , insira um nome exclusivo para o serviço account que seja fácil para o senhor lembrar.
-
Anote o endereço de e-mail abaixo da caixa de ID do serviço account , pois o senhor precisará dele nas Etapas 2, 3, 4 e 6. Será algo parecido com o seguinte:
<your-service-account-name>@<your-project-name>.iam.gserviceaccount.com
-
Opcionalmente, para a descrição do serviço account , insira uma descrição significativa sobre o serviço account.
-
Clique em Criar e continuar .
-
Clique em Concluído .
Etapa 2: Atribua seu serviço do Google Cloud account ao seu Databricks account
Nesta etapa, o senhor concede ao seu serviço do Google Cloud account acesso ao seu Databricks account. Se o senhor não quiser dar ao seu serviço account acesso ao seu Databricks account, pule para a Etapa 3.
-
Em seu site Databricks workspace, clique em seu nome de usuário na barra superior e clique em gerenciar account .
Como alternativa, acesse diretamente o console Databricks account , em https://accounts.gcp.databricks.com.
-
Faça login no site Databricks account, se solicitado.
-
Na barra lateral, clique em Gerenciamento de usuários .
-
Clique em Users tab.
Embora este tab seja para usuários de rótulo, este tab também funciona com contas de serviço. Databricks trata a conta de serviço como usuários em seu site Databricks account.
-
Clique em Adicionar usuário .
-
Para o e-mail , digite o endereço de e-mail que o senhor copiou da Etapa 1 para o seu serviço account.
-
Para First name (Nome ) e Last name (Sobrenome ), insira um texto significativo para ajudar o senhor a procurar o serviço account posteriormente. Por exemplo, para First name , o senhor pode inserir o nome do serviço account da Etapa 1. Para Last name , o senhor pode inserir a conta do serviço Google Cloud .
-
Clique em Adicionar usuário . Databricks adiciona o serviço account como um usuário ao seu Databricks account.
-
Atribua as permissões de nível accountque deseja que o usuário tenha:
- Em Users (Usuários ) tab, clique no nome do usuário. Se o nome de usuário não estiver visível, use Filtrar usuários para encontrá-lo.
- Em Roles (Funções ) tab, alterne para ativar ou desativar cada função de destino que deseja que esse usuário tenha. Consulte Atribuir funções de administrador do account a um usuário.
Etapa 3: Atribua seu serviço do Google Cloud account ao seu Databricks workspace
Nesta etapa, o senhor concede ao seu serviço do Google Cloud account acesso ao seu Databricks workspace.
Se o seu site workspace estiver habilitado para federação de identidade, o senhor poderá usar o link para o seu site:
-
No site Databricks workspace, clique no seu nome de usuário na barra superior e clique em Settings (Configurações ).
-
Clique em Usuários .
Embora este tab seja para usuários de rótulo, este tab também funciona com contas de serviço. Databricks trata a conta de serviço como usuários em seu site Databricks workspace.
-
Clique em Adicionar usuário .
-
Selecione o usuário na Etapa 2 e clique em Adicionar . O serviço account é adicionado como um usuário em seu Databricks workspace.
-
Atribua as permissões de nível workspaceque deseja que o usuário tenha:
- Em Users (Usuários ) tab, clique no nome do usuário.
- Em Entitlements (Direitos ) tab, selecione ou desmarque para conceder ou revogar cada status de destino ou direito que o senhor deseja que esse usuário tenha. Para obter mais informações, consulte:
Vá para a Etapa 4.
Se o seu site workspace não estiver habilitado para a federação de identidade, o senhor pode usar o link para o seu site:
-
No site Databricks workspace, clique no seu nome de usuário na barra superior e clique em Settings (Configurações ).
-
Clique em Usuários .
Embora este tab seja para usuários de rótulo, este tab também funciona com contas de serviço. Databricks trata a conta de serviço como usuários em seu site Databricks workspace.
-
Clique em Adicionar novo .
-
Para New user email , digite o endereço de e-mail que o senhor copiou da Etapa 1 para o seu serviço account.
-
Clique em Adicionar . O serviço account é adicionado como um usuário em seu Databricks workspace.
-
Atribua as permissões de nível workspaceque deseja que o usuário tenha:
- Em Users (Usuários ) tab, clique no nome do usuário.
- Em Entitlements (Direitos ) tab, selecione ou desmarque para conceder ou revogar cada status de destino ou direito que o senhor deseja que esse usuário tenha. Para obter mais informações, consulte:
Etapa 4: Crie um par Google-gerenciar key para seu serviço Google Cloud account
Nesta etapa, crie um par Google-gerenciar key para o seu serviço do Google Cloud account no console do Google Cloud. O senhor então download a parte key privada desse par Google-gerenciar key.
-
No console do Google Cloud no qual você fez login na Etapa 1, na página de configurações do seu serviço account, clique na chave tab.
Para retornar à página de configurações do seu serviço accountse o senhor a fechou anteriormente, em Search (/) for recurso, docs, produto, and more , pesquise e selecione o nome do seu serviço account.
-
Clique em Add key > Create new key .
-
Na caixa de diálogo Create private key (Criar chave privada ), selecione JSON e clique em Create (Criar ). A parte privada key do par Google-gerenciar key é download para sua máquina de desenvolvimento local como
<your-project-name>-<random-id>.json
. Anote onde esse arquivo.json
foi baixado, pois o senhor precisará dele mais tarde na Etapa 6.Certifique-se de armazenar esse key privado em um local seguro. Se o senhor perder esse key privado, poderá repetir esta etapa para retornar à página de configurações do seu serviço accountmais tarde para download um key privado substituto.
Etapa 5: Instale a CLI da Databricks em sua máquina de desenvolvimento local
Nesta etapa, o senhor instala o Databricks CLI para que possa usá-lo para executar comandos que automatizam sua conta Databricks e seu espaço de trabalho.
O senhor também pode usar o provedor Databricks Terraform ou o Databricks SDK for Go junto com a autenticação de credenciais do Google Cloud para automatizar sua conta Databricks e seu espaço de trabalho executando código HCL ou Go. Consulte o SDK da Databricks para autenticação de credenciais do Go e do Google Cloud.
- Se ainda não estiver instalado, instale o Databricks CLI da seguinte forma:
- Linux, macOS
- Windows
Use Homebrew to install the Databricks CLI by running the following two commands:
brew tap databricks/tap
brew install databricks
You can use winget, Chocolatey or Windows Subsystem for Linux (WSL) to install the Databricks CLI. If you cannot use winget
, Chocolatey, or WSL, you should skip this procedure and use the Command Prompt or PowerShell to install the Databricks CLI from source instead.
Installing the Databricks CLI with Chocolatey is Experimental.
To use winget
to install the Databricks CLI, run the following two commands, and then restart your Command Prompt:
winget search databricks
winget install Databricks.DatabricksCLI
To use Chocolatey to install the Databricks CLI, run the following command:
choco install databricks-cli
To use WSL to install the Databricks CLI:
-
Install
curl
andzip
through WSL. For more information, see your operating system’s documentation. -
Use WSL to install the Databricks CLI by running the following command:
Bashcurl -fsSL https://raw.githubusercontent.com/databricks/setup-cli/main/install.sh | sh
-
Confirme se a CLI do Databricks está instalada executando o seguinte comando, que exibe a versão atual da CLI do Databricks instalada. Essa versão deve ser a 0.205.0 ou superior:
Bashdatabricks -v
Se o senhor executar databricks
, mas receber um erro como command not found: databricks
, ou se executar databricks -v
e for listado um número de versão 0.18 ou abaixo, isso significa que o computador não consegue encontrar a versão correta do executável Databricks CLI . Para corrigir isso, consulte Verificar a instalação da CLI.
Etapa 6: configurar a CLI do Databricks para autenticação de credenciais do Google Cloud
Nesta etapa, o senhor configura o Databricks CLI para usar a autenticação de credenciais do Google Cloud para Databricks usando o key privado para o seu serviço do Google Cloud account. Para fazer isso, o senhor cria um arquivo com um nome de arquivo default e em um local default onde o Databricks CLI espera encontrar as configurações de autenticação de que precisa.
-
Com seu editor de texto favorito, crie um arquivo local chamado
.databrickscfg
no diretório inicial do usuário, caso ele ainda não exista. Para Linux e macOS, seu diretório inicial de usuário é~
. No Windows, o diretório inicial do usuário é%USERPROFILE%
. -
Insira o conteúdo a seguir no arquivo
.databrickscfg
. Neste conteúdo, substitua os seguintes valores:- Substitua
<account-console-url>
pelo Databricks URL account do console, como https://accounts.gcp.databricks.com. - Substitua
<account-id>
pelo seu Databricks account ID. Consulte Localizar sua account ID. - Substitua
<path-to-google-service-account-credentials-file>
pelo caminho para seus downloads privados key da Etapa 4. - Substitua
<workspace-url>
pelo URL da instânciaworkspace, por exemplo,https://1234567890123456.7.gcp.databricks.com
. - Você pode substituir os nomes de perfil de configuração sugeridos
GCP_CREDS_ACCOUNT
eGCP_CREDS_WORKSPACE
por nomes de perfil de configuração diferentes, se desejar. Esses nomes específicos não são obrigatórios.
Se não quiser executar account-level operações, o senhor pode omitir a
[GCP_CREDS_ACCOUNT]
seção no conteúdo a seguir.[GCP_CREDS_ACCOUNT]
host = <account-console-url>
account_id = <account-id>
google_credentials = <path-to-google-service-account-credentials-file>
[GCP_CREDS_WORKSPACE]
host = <workspace-url>
google_credentials = <path-to-google-service-account-credentials-file> - Substitua
Etapa 7: executar um comando de nível accountcom o Databricks CLI
Nesta etapa, o senhor usa a autenticação Databricks CLI e as credenciais do Google Cloud para executar um comando que automatiza o Databricks account que foi configurado na Etapa 6.
Se o senhor não quiser executar o comando account-level, pule para a Etapa 8.
Com o terminal ou prompt de comando ainda aberto na Etapa 5, execute o seguinte comando para listar todos os usuários disponíveis em seu Databricks account. Se você renomeou GCP_CREDS_ACCOUNT
na Etapa 6, certifique-se de substituí-lo aqui.
databricks account users list -p GCP_CREDS_ACCOUNT
Etapa 8: executar um comando de nível workspacecom o Databricks CLI
Nesta etapa, o senhor usa a autenticação Databricks CLI e as credenciais do Google Cloud para executar um comando que automatiza o Databricks workspace que foi configurado na Etapa 6.
Com o terminal ou prompt de comando ainda aberto na Etapa 5, execute o seguinte comando para listar todos os usuários disponíveis em seu Databricks workspace. Se você renomeou GCP_CREDS_WORKSPACE
na Etapa 6, certifique-se de substituí-lo aqui.
databricks account users list -p GCP_CREDS_ACCOUNT
Etapa 9: Limpar
Essa etapa é opcional. Se o senhor não quiser mais continuar usando o serviço do Google Cloud account que criou para este artigo, esta etapa descreve como excluir o serviço account do seu projeto do Google e dos seus sites Databricks account e workspace.
Exclua o serviço account de seu projeto do Google
- No console do Google Cloud em que fez login na Etapa 1, em Search (/) for recurso, docs, produto, and more , pesquise e selecione serviço account .
- Na linha do seu serviço account's name, clique nas elipses. Se o nome do seu serviço accountnão estiver visível, use Enter property name ou value para localizá-lo.
- Clique em Excluir .
- Na caixa de diálogo de confirmação, clique em Excluir .
Exclua o serviço account de seu site Databricks account
- No site Databricks account, na barra lateral, clique em User management (Gerenciamento de usuários ).
- Clique em Users tab.
- Clique no nome do serviço account que o senhor adicionou na Etapa 2. Se o nome da conta de serviço não estiver visível, use Filtrar usuários para localizá-lo.
- Clique no botão de elipses e, em seguida, clique em Excluir usuário.
- Clique em Confirmar exclusão .
Exclua o serviço account de seu site Databricks workspace
- No site Databricks workspace, clique no seu nome de usuário na barra superior e clique em Settings (Configurações ).
- Clique em User tab.
- Clique no nome do serviço account que o senhor adicionou na Etapa 3. Se o nome do serviço accountnão estiver visível, use Filtrar usuários para localizá-lo.
- Clique em Remover usuário .
- Na caixa de diálogo de confirmação, clique em Excluir .