Automatizar a configuração do Unity Catalog usando o Terraform
O senhor pode automatizar a configuração do Unity Catalog usando o provedor Databricks Terraform. Este artigo fornece links para o guia de implementação do provedor Terraform Unity Catalog e para a documentação de referência do recurso, juntamente com os requisitos ("Before you begin") e dicas de validação e implementação.
Antes de começar
Para automatizar a configuração do Unity Catalog usando o Terraform, o senhor deve ter o seguinte:
- Seu Databricks account deve estar no plano Premium.
- No Google Cloud, o senhor deve ter a capacidade de criar buckets do GCS e atribuir permissões aos buckets do GCS que criar.
- O senhor deve ter pelo menos um Databricks workspace que deseja usar com Unity Catalog. Consulte Criar um workspace usando o console account.
Para usar o provedor Databricks Terraform para configurar um metastore para o Unity Catalog, o armazenamento para o metastore, qualquer armazenamento externo e todas as credenciais de acesso relacionadas, o senhor deve ter o seguinte:
- Um Google Cloud account.
- Um projeto do Google Cloud no site account.
- Use o provedor Databricks Terraform 1.8.0 ou superior. Sempre use a versão mais recente do provedor.
- A Databricks on Google Cloud account no projeto.
- Uma conta do Google e um serviço do Google account com as permissões necessárias.
- Em sua máquina de desenvolvimento local, você deve ter:
- A CLI do Terraform. Consulte Download do Terraform no site do Terraform.
- O SDK do Google Cloud, conectado por meio do comando gcloud auth application-default login -project=<project-id>, em que
<project-id>
é o ID do projeto de destino do Google Cloud. Para obter mais detalhes, consulte Instalação do SDK do Google Cloud e Autorização da CLI do gcloud no site do Google Cloud.
Para usar o provedor Databricks Terraform para configurar todos os outros componentes de infraestrutura do Unity Catalog, o senhor deve ter o seguinte:
-
Um workspace do Databricks.
-
Um Databricks tokens de acesso pessoal, para permitir que o Terraform chame o Databricks APIs dentro do seu Databricks workspace. Consulte também Monitorar e revogar tokens de acesso pessoal.
-
Em sua máquina de desenvolvimento local, você deve ter:
-
A CLI do Terraform. Consulte Download do Terraform no site do Terraform.
-
Um dos seguintes:
-
Databricks CLI versão 0.205 ou acima, configurado com seus Databricks tokens de acesso pessoal
databricks configure --host <workspace-url> --profile <some-unique-profile-name>
executando. Consulte Instalar ou atualizar a Databricks CLI Databricks autenticação dos tokens de acesso pessoal e. -
Os dois seguintes Databricks variável de ambiente:
-
DATABRICKS_HOST
definido como o valor do URL da instância do workspace do Databricks, por exemplohttps://1234567890123456.7.gcp.databricks.com
-
DATABRICKS_TOKEN
definido como o valor de seus Databricks tokens de acesso pessoal. Consulte também Monitorar e revogar tokens de acesso pessoal.
Para definir essas variáveis de ambiente, consulte a documentação do sistema operacional.
-
-
Como prática recomendada de segurança, ao se autenticar com ferramentas, sistemas, scripts e aplicativos automatizados, o Databricks recomenda que o senhor use o acesso pessoal tokens pertencente à entidade de serviço em vez dos usuários do workspace. Para criar tokens o site para uma entidade de serviço, consulte gerenciar tokens para uma entidade de serviço.
Terraform provedor guia de implementação e documentação de referência de recurso Unity Catalog
Para saber como implantar todos os pré-requisitos e habilitar Unity Catalog o para workspace um, consulte o recurso de pré-requisito implantado e a habilitação do Unity Catalog na Databricks Terraform documentação do provedor .
Se o senhor já tiver alguns componentes de infraestrutura do Unity Catalog, poderá usar o Terraform para implantar componentes adicionais de infraestrutura do Unity Catalog, conforme necessário. Consulte cada seção do guia mencionado no parágrafo anterior e a seção Unity Catalog da documentação do provedor Databricks Terraform.
Validar, planejar, implantar ou destruir o recurso
- Para validar a sintaxe das configurações do Terraform sem implantá-las, execute o comando
terraform validate
. - Para mostrar as ações que Terraform tomaria para implantar as configurações, execute o comando
terraform plan
. Esse comando não implanta as configurações de fato. - Para implantar as configurações, execute o comando
terraform deploy
. - Para excluir o recurso implantado, execute o comando
terraform destroy
.