Automatisez la configuration de Unity Catalog à l'aide de Terraform
Vous pouvez automatiser la configuration d'Unity Catalog en utilisant le fournisseur Databricks Terraform. Cet article fournit des liens vers le guide de déploiement Unity Catalog du fournisseur Terraform et la documentation de référence des ressources, ainsi que les exigences (« Avant de commencer ») et des conseils de validation et de déploiement.
Avant de commencer
Pour automatiser la configuration de Unity Catalog à l'aide de Terraform, vous devez disposer des éléments suivants :
- Votre compte Databricks doit être sur le forfait Premium.
- Dans Google Cloud, vous devez avoir la possibilité de créer des compartiments GCS et d'attribuer des autorisations aux compartiments GCS que vous créez.
- Vous devez avoir au moins un Workspace Databricks que vous souhaitez utiliser avec Unity Catalog. Consultez Créer un workspace classique.
Pour utiliser le fournisseur Terraform Databricks afin de configurer un metastore pour Unity Catalog, le stockage pour le metastore, tout stockage externe et toutes leurs informations d'identification d'accès associées, vous devez disposer des éléments suivants :
- Un compte Google Cloud.
- Un projet Google Cloud dans le compte.
- Utilisez le fournisseur Databricks Terraform 1.8.0 ou version ultérieure. Toujours utiliser la dernière version du fournisseur.
- Un compte Databricks sur Google Cloud dans le projet.
- Un compte Google et un compte de service Google disposant des autorisations requises.
- Sur votre machine de développement locale, vous devez avoir :
- Le Terraform CLI. Consultez download Terraform sur le site web de Terraform.
- Le SDK Google Cloud, connecté via la commande gcloud auth application-default login –project=<project-id>, où
<project-id>est l'ID du projet Google Cloud cible. Pour plus de détails, consultez l'installation du SDK Google Cloud et l'autorisation de la CLI gcloud sur le site web de Google Cloud.
Pour utiliser le fournisseur Databricks Terraform afin de configurer tous les autres composants d'infrastructure Unity Catalog, vous devez disposer des éléments suivants :
- Un Databricks Workspace.
- Un jeton d'accès personnel Databricks, pour permettre à Terraform d'appeler les APIs Databricks au sein de votre workspace Databricks. Voir aussi Surveiller et révoquer les jetons d'accès personnels.
- Sur votre machine de développement locale, vous devez avoir :
-
Le Terraform CLI. Consultez download Terraform sur le site web de Terraform.
-
L'un des éléments suivants :
-
CLI Databricks version 0.205 ou supérieure, configurée avec votre jeton d'accès personnel Databricks en exécutant
databricks configure --host <workspace-url> --profile <some-unique-profile-name>. Consultez Installer ou mettre à jour la CLI Databricks et l'authentification par jeton d'accès personnel (héritée). -
Les deux variables d'environnement Databricks suivantes :
-
DATABRICKS_HOST, défini sur la valeur de l'URL de l'instance de votre Workspace Databricks, par exemplehttps://1234567890123456.7.gcp.databricks.com -
DATABRICKS_TOKEN, défini sur la valeur de votre jeton d'accès personnel Databricks. Voir aussi Surveiller et révoquer les jetons d'accès personnels.
Pour définir ces variables d'environnement, consultez la documentation de votre système d'exploitation.
-
-
Comme bonne pratique de sécurité, lorsque vous vous authentifiez avec des outils, systèmes, scripts et applications automatisés, Databricks vous recommande d'utiliser des jetons d'accès personnels appartenant aux Service Principal plutôt qu'aux utilisateurs de Workspace. Pour créer des jetons pour les Service Principals, consultez Gérer les jetons pour un Service Principal.
Guide de déploiement et documentation de référence des Ressources du fournisseur Terraform Unity Catalog
Pour savoir comment déployer toutes les conditions préalables et activer Unity Catalog pour un Workspace, consultez Déploiement des ressources prérequises et activation de Unity Catalog dans la documentation du fournisseur Databricks Terraform.
Si vous avez déjà des composants d'infrastructure Unity Catalog en place, vous pouvez utiliser Terraform pour déployer des composants d'infrastructure Unity Catalog supplémentaires si nécessaire. Consultez chaque section du guide référencé dans le paragraphe précédent et la section Unity Catalog de la documentation du fournisseur Databricks Terraform.
Validez, planifiez, déployez ou détruisez les ressources
- Pour valider la syntaxe des configurations Terraform sans les déployer, exécutez la commande
terraform validate. - Pour afficher les actions que Terraform prendrait pour déployer les configurations, exécutez la commande
terraform plan. Cette commande ne déploie pas réellement les configurations. - Pour déployer les configurations, exécutez la commande
terraform deploy. - Pour supprimer les ressources déployées, exécutez la commande
terraform destroy.