Créer un emplacement externe avec une configuration automatisée

Cette page décrit comment se connecter à un compartiment AWS S3 dans Databricks. Lorsque vous utilisez cette configuration automatisée, Databricks provisionne à la fois les ressources cloud dans votre compte AWS et les objets sécurisables dans votre compte Databricks pour les représenter. Il s’agit de la méthode recommandée pour la plupart des déploiements et elle fournit des workflows d’approbation intégrés pour les utilisateurs qui ont besoin d’une autorisation d’administrateur AWS.

Lorsque vous utilisez la configuration automatisée, Databricks provisionne à la fois les ressources cloud dans votre compte AWS et les objets sécurisables dans votre compte Databricks qui les représentent.

Dans votre compte AWS, les Ressources suivantes sont provisionnées :

• Rôle IAM avec une politique d'accès à privilège minimum limitée à votre compartiment et niveau d'accès spécifiés
• Politique d'approbation inter-comptes correctement configurée pour le rôle inter-comptes Databricks

Dans votre compte Databricks, les objets de configuration suivants sont créés :

• Un identifiant de stockage qui représente le rôle IAM utilisé pour accéder au compartiment S3.
• Un emplacement externe enregistré dans Unity Catalog, mappé à votre compartiment spécifié. Auto Loader et les événements de fichiers sont activés automatiquement.

La configuration automatisée utilise la délégation temporaire IAM d'AWS pour configurer automatiquement votre emplacement externe et provisionner toutes les ressources requises. Toutes les actions automatisées sont enregistrées dans AWS CloudTrail. Une fois la configuration terminée, l'autorisation de délégation temporaire expire automatiquement. Databricks ne conserve pas d'accès permanent à votre compte AWS.

Avant de commencer

• Votre compartiment S3 doit déjà exister dans votre compte AWS.
• N'utilisez pas la notation par points dans les noms de compartiments S3 (par exemple, incorrect.bucket.name.notation).
• Les chemins d'emplacement externe doivent utiliser uniquement des caractères ASCII standard.
• Votre compartiment ne peut pas avoir les listes de contrôle d'accès S3 (ACL) activées.
• Évitez les conflits de chemins avec les chemins enregistrés auprès d'autres metastores afin de prévenir les problèmes de cohérence d'écriture.

Vous devez disposer d'au moins l'une des autorisations Databricks suivantes :

• Administrateur de Workspace
• Administrateur de metastore
• Administrateur de compte avec accès au Workspace
• CREATE STORAGE CREDENTIAL et CREATE EXTERNAL LOCATION privilèges sur le métastore (non-administrateur)

Vous n'avez pas besoin d'autorisations AWS IAM pour lancer la configuration. Si vous disposez d'autorisations AWS suffisantes, vous pouvez approuver directement la demande de délégation. Si ce n'est pas le cas, vous pouvez demander l'approbation à votre administrateur AWS dans le processus de configuration.

Les administrateurs AWS ont besoin de l'autorisation iam:AcceptDelegationRequest dans AWS IAM pour approuver les demandes de délégation temporaire. Consultez Approuver les demandes en tant qu'administrateur.

Créez l'emplacement externe

1. Dans la barre latérale, cliquez sur Catalogue .
2. Cliquez sur Connecter > Emplacements externes .
3. Cliquez sur Créer un emplacement externe .
4. Sélectionnez Configurer automatiquement , puis cliquez sur Suivant .
5. Pour Nom de l'emplacement externe , saisissez un nom pour l'emplacement externe à créer.
6. Pour l' URL du compartiment S3 , saisissez le chemin S3 de votre compartiment. Si vous sélectionnez Limiter à l'utilisation en lecture seule , Databricks peut uniquement lire à partir du compartiment. Sinon, Databricks peut lire et écrire dans le compartiment.

1. Cliquez sur Connectez-vous à AWS et créez un emplacement externe .

2. Dans la boîte de dialogue Examiner les ressources AWS , confirmez les ressources qui seront créées dans votre compte AWS. Cliquez sur Lancer la création de l'emplacement externe .

3. Dans une nouvelle fenêtre, Databricks vous invite à vous connecter à AWS pour vérifier vos autorisations.

   • Si vous disposez d'autorisations AWS suffisantes, examinez et approuvez la demande de délégation temporaire en cliquant sur **Autoriser l’accès**. Databricks procède automatiquement.
   • Si vous ne disposez pas d'autorisations AWS suffisantes, vous êtes invité à demander l'approbation de votre administrateur AWS en cliquant sur Demander l'approbation . Sur l'écran suivant, ajoutez une note de justification commerciale avant de cliquer sur Demander l'approbation . AWS fournit un Link et un ID de requête que vous pouvez partager avec votre administrateur AWS pour approbation.

   

   Vous pouvez fermer la fenêtre en attendant que votre administrateur approuve la demande. Pour approuver une requête en tant qu'administrateur AWS, consultez Approuver les requêtes en tant qu'administrateur.

4. Pendant que vous patientez, l'emplacement en attente est répertorié sous Emplacements en attente . Consultez Afficher l'état de l'emplacement externe.

1. Une fois la demande de délégation approuvée, la boîte de dialogue de configuration affiche la confirmation de l'approbation.

1. Databricks provisionne toutes les ressources requises. Cela peut prendre jusqu'à huit minutes. Une fois le provisionnement terminé, l'emplacement externe apparaît sous Emplacements existants .

Afficher le statut de l'emplacement externe

Une fois l'emplacement externe créé, vous pouvez suivre son statut sous l'onglet Emplacements en attente dans Catalog Explorer > Données externes > Emplacements externes . La configuration peut prendre jusqu'à huit minutes. Les statuts possibles incluent :

• En attente d'approbation : Votre demande d'accès temporaire à AWS est en attente d'approbation de votre administrateur AWS. Après approbation, Databricks reprend la configuration automatiquement.
• Disponible : l'installation a réussi. L'emplacement externe est prêt à être utilisé.
• Échec : La configuration a rencontré un problème. Les scénarios courants incluent :
  • La demande de délégation a expiré car aucune mesure n'a été prise dans un délai de sept jours. Réessayez la configuration pour générer une nouvelle demande de délégation.
  • Votre administrateur AWS a refusé la demande de délégation. Examinez les exigences en matière d’autorisations avec votre administrateur et réessayez.
  • Pour les autres échecs, cliquez sur l'emplacement externe pour afficher un message d'erreur détaillé.

Vérifier l'emplacement externe

Après la configuration, validez que Databricks peut accéder à votre compartiment :

1. Dans l’**Explorateur de catalogues**, cliquez sur **Connexion** > **Emplacements externes**.
2. Cliquez sur l'emplacement externe que vous avez créé.
3. Cliquez sur Tester la connexion .
4. Facultativement, liez l'emplacement externe à des Workspaces spécifiques. Consultez Attribuer un emplacement externe à des Workspaces spécifiques.
5. Accorder des privilèges aux utilisateurs et aux groupes selon les besoins. Les privilèges courants incluent CREATE EXTERNAL TABLE, CREATE EXTERNAL VOLUME et CREATE MANAGED LOCATION.

Approuver les requêtes en tant qu'administrateur

Lorsqu'un utilisateur sans autorisations AWS suffisantes lance la configuration automatisée, Databricks soumet une demande de délégation temporaire à votre compte AWS. Toutes les demandes apparaissent dans la tab Demandes de délégation temporaire de la console IAM d'AWS, où un administrateur peut les examiner et y donner suite. Chaque demande expire après sept jours si aucune action n'est entreprise.

L’approbation d’une demande de délégation temporaire nécessite l’autorisation iam:AcceptDelegationRequest dans AWS IAM.

Pour approuver une demande, ouvrez l'onglet Demandes de délégation temporaire dans la console IAM et sélectionnez la demande. Examinez les détails de la demande, y compris le demandeur, la justification commerciale, le chemin du compartiment S3 cible et la durée d'accès demandée, puis cliquez sur Approuver . Pour refuser la demande, cliquez sur Rejeter . Après que vous avez approuvé la demande, Databricks reprend automatiquement la configuration de l'emplacement externe.