Automatizar a configuração do Unity Catalog usando o Terraform

O senhor pode automatizar a configuração do Unity Catalog usando o provedor Databricks Terraform. Este artigo fornece links para o guia de implementação do provedor Terraform Unity Catalog e para a documentação de referência do recurso, juntamente com os requisitos ("Before you begin") e dicas de validação e implementação.

Antes de começar

Para automatizar a configuração do Unity Catalog usando o Terraform, o senhor deve ter o seguinte:

• Sua account do Databricks deve estar no plano Premium ouacima.
• Em AWS, o senhor deve ter a capacidade de criar Amazon S3 buckets, AWS IAM role, AWS IAM policies e crossaccount trust relationships.
• O senhor deve ter pelo menos um Databricks workspace que deseja usar com Unity Catalog. Consulte Criar manualmente uma conta workspace (conta Databricks existente).

Para usar o provedor Databricks Terraform para configurar um metastore para o Unity Catalog, o armazenamento para o metastore, qualquer armazenamento externo e todas as credenciais de acesso relacionadas, o senhor deve ter o seguinte:

• Uma conta do AWS.

• Uma conta do Databricks no AWS.

• Uma entidade de serviço que tem a função de administrador de conta em sua conta do Databricks.

• A CLI do Terraform. Consulte Download do Terraform no site do Terraform.

• Os sete seguintes Databricks variável de ambiente:

  • DATABRICKS_CLIENT_IDdefinido como o valor da ID do cliente, também conhecida como ID do aplicativo, da entidade de serviço. Consulte Autorizar o acesso autônomo a Databricks recurso com uma entidade de serviço usando OAuth.

  • DATABRICKS_CLIENT_SECRETdefinido como o valor do segredo do cliente da entidade de serviço. Consulte Autorizar o acesso autônomo a Databricks recurso com uma entidade de serviço usando OAuth.

  • DATABRICKS_ACCOUNT_ID, definido como o valor da ID da sua conta do Databricks. Esse valor encontra-se no canto do console da sua conta no Databricks.

  • TF_VAR_databricks_account_id, também definido como o valor da ID da sua conta no Databricks.

  • AWS_ACCESS_KEY_ID, definido como o valor do ID da chave de acesso do usuário do AWS. Consulte Acesso programático no AWS General Reference.

  • AWS_SECRET_ACCESS_KEY, definido como o valor da chave de acesso secreta do usuário do AWS. Consulte Acesso programático no AWS General Reference.

  • AWS_REGION, definido como o valor do código da região do AWS para sua conta no Databricks. Consulte Endpoints regionais no AWS General Reference.

  Para definir essas variáveis de ambiente, consulte a documentação do sistema operacional.

nota

A autenticação básica usando um nome de usuário e senha da Databricks chegou ao fim da vida útil em 10 de julho de 2024. Consulte End of life para Databricks-gerenciar senhas.

Para usar o provedor Databricks Terraform para configurar todos os outros componentes de infraestrutura do Unity Catalog, o senhor deve ter o seguinte:

• Um workspace do Databricks.

• Em sua máquina de desenvolvimento local, você deve ter:

  • A CLI do Terraform. Consulte Download do Terraform no site do Terraform.

  • Um dos seguintes:

    • Databricks CLI versão 0.205 ou acima, configurado com seus Databricks tokens de acesso pessoal databricks configure --host <workspace-url> --profile <some-unique-profile-name>executando. Consulte Instalar ou atualizar a Databricks CLI Databricks autenticação dos tokens de acesso pessoal e.

nota

Como prática recomendada de segurança ao se autenticar com ferramentas, sistemas, scripts e aplicativos automatizados, a Databricks recomenda que você use tokens OAuth.

Se o senhor usar a autenticação de tokens de acesso pessoal, a Databricks recomenda usar o acesso pessoal tokens pertencente à entidade de serviço em vez de usuários workspace. Para criar tokens o site para uma entidade de serviço, consulte gerenciar tokens para uma entidade de serviço.

• A seguir, Databricks variável de ambiente:

• DATABRICKS_HOSTdefinido como o valor do URL da instância do workspace do Databricks, por exemplo https://dbc-1234567890123456.cloud.databricks.com

• DATABRICKS_CLIENT_IDdefinido como o valor da ID do cliente, também conhecida como ID do aplicativo, da entidade de serviço. Consulte Autorizar o acesso autônomo a Databricks recurso com uma entidade de serviço usando OAuth.

• DATABRICKS_CLIENT_SECRETdefinido como o valor do segredo do cliente da entidade de serviço. Consulte Autorizar o acesso autônomo a Databricks recurso com uma entidade de serviço usando OAuth.

Opcionalmente, utilize um token de acesso pessoal em vez do ID do cliente e do segredo do cliente de uma entidade de serviço:

• DATABRICKS_TOKENdefinido como o valor de seus Databricks tokens de acesso pessoal. Consulte também Monitorar e revogar tokens de acesso pessoal.

Para definir essas variáveis de ambiente, consulte a documentação do sistema operacional.

nota

Como prática recomendada de segurança ao se autenticar com ferramentas, sistemas, scripts e aplicativos automatizados, a Databricks recomenda que você use tokens OAuth.

Se o senhor usar a autenticação de tokens de acesso pessoal, a Databricks recomenda usar o acesso pessoal tokens pertencente à entidade de serviço em vez de usuários workspace. Para criar tokens o site para uma entidade de serviço, consulte gerenciar tokens para uma entidade de serviço.

Terraform provedor guia de implementação e documentação de referência de recurso Unity Catalog

Para saber como implantar todos os pré-requisitos e habilitar Unity Catalog o para workspace um, consulte o recurso de pré-requisito implantado e a habilitação do Unity Catalog na Databricks Terraform documentação do provedor .

Se o senhor já tiver alguns componentes de infraestrutura do Unity Catalog, poderá usar o Terraform para implantar componentes adicionais de infraestrutura do Unity Catalog, conforme necessário. Consulte cada seção do guia mencionado no parágrafo anterior e a seção Unity Catalog da documentação do provedor Databricks Terraform.

Validar, planejar, implantar ou destruir o recurso

• Para validar a sintaxe das configurações do Terraform sem implantá-las, execute o comando terraform validate.
• Para mostrar as ações que Terraform tomaria para implantar as configurações, execute o comando terraform plan. Esse comando não implanta as configurações de fato.
• Para implantar as configurações, execute o comando terraform deploy.
• Para excluir o recurso implantado, execute o comando terraform destroy.