Gérer les metastores Unity Catalog

Cet article explique comment mettre à jour, supprimer et gérer le comportement des métastores Unity Catalog dans votre compte Databricks.

Pour en savoir plus sur les métastores Unity Catalog et comment les créer, consultez Créer un métastore Unity Catalog.

Activer l’attribution automatique d’un métastore aux nouveaux workspaces

Pour attribuer automatiquement un métastore Unity Catalog existant aux nouveaux workspaces de la région de ce métastore, un administrateur de compte peut activer l'attribution automatique de workspace pour le métastore. Si ce paramètre n'est pas sélectionné, l'administrateur qui crée un workspace dans la même région que le métastore doit activer manuellement le workspace pour Unity Catalog et sélectionner le métastore dans une liste déroulante.

Avant qu'un administrateur de compte n'active cette option, il/elle doit bien comprendre les impacts suivants sur les nouveaux Workspace :

• Un *catalogue de workspace* sera créé, et tous les utilisateurs du workspace auront les privilèges requis pour y créer des objets. Consultez start avec Unity Catalog.
• Les administrateurs de Workspace auront les autorisations nécessaires pour créer des objets sécurisables au niveau du métastore, tels que des catalogues et des emplacements externes. Voir Privilèges d'administrateur de Workspace lorsque les workspaces sont automatiquement activés pour Unity Catalog.
• Si le stockage au niveau du métastore est déjà activé pour le métastore, le workspace pourra utiliser ce stockage. Voir Spécifier un emplacement de stockage géré dans Unity Catalog.
• Si un administrateur de métastore est défini pour le métastore, il pourra gérer l'accès à tous les objets sécurisables dans tous les Workspace attachés au métastore. Consultez les administrateurs Metastore.
• Le paramètre OpenSharing (activé ou désactivé) du metastore s'appliquera à tous les Workspace attachés au metastore. Consultez Configurer OpenSharing pour votre compte (pour les fournisseurs).

Pour activer l'attribution automatique :

1. En tant qu'administrateur de compte, accédez à la console de compte Databricks.
2. Cliquez sur le Catalogue .
3. Sélectionnez votre métastore.
4. Dans l' tab Configuration, sous Attribution de Workspace , sélectionnez Attribuer automatiquement les nouveaux workspaces dans <region> à ce métastore .
5. Dans la boîte de dialogue de confirmation, cliquez sur Activer l’attribution automatique .

Ajouter du stockage géré à un métastore existant

Le stockage géré au niveau du métastore est facultatif et il n'est pas inclus pour les métastores créés automatiquement. Vous souhaiterez peut-être ajouter du stockage au niveau du métastore à votre métastore si vous préférez un modèle d'isolation des données qui stocke les données de manière centralisée pour plusieurs Workspace. Vous avez besoin d’un stockage au niveau du métastore si vous êtes un Partenaire Databricks qui utilise des emplacements de staging personnels.

Voir aussi Spécifier un emplacement de stockage géré dans Unity Catalog.

Exigences

• Vous devez avoir au moins un Workspace attaché au métastore Unity Catalog.

• Autorisations Databricks requises :

  • Pour créer un emplacement externe, vous devez disposer des privilèges CREATE EXTERNAL LOCATION et CREATE STORAGE CREDENTIAL.
  • Pour ajouter l'emplacement de stockage à la définition du métastore, vous devez être un administrateur de compte.

• Autorisations AWS requises : la capacité de créer des compartiments S3, des rôles IAM, des politiques IAM et des relations de confiance entre comptes.

Étape 1 : créez l'emplacement de stockage

Suivez les instructions de l'Étape 1 (facultatif) : Créer un compartiment S3 pour le stockage géré au niveau du metastore dans AWS pour créer un compartiment S3 dédié dans un compte AWS dans la même région que votre metastore.

Étape 2 : Créer un emplacement externe dans Unity Catalog

Dans cette étape, vous créez un emplacement externe dans Unity Catalog qui représente le bucket que vous venez de créer.

1. Ouvrez un Workspace qui est attaché au metastore.

2. Cliquez sur Catalogue pour ouvrir l'Explorateur de catalogues.

3. Cliquez sur le bouton + Ajouter et sélectionnez Ajouter un emplacement externe .

4. Dans la boîte de dialogue Créer un nouvel emplacement externe , cliquez sur Démarrage rapide AWS (recommandé) , puis sur Suivant .

   Le Quickstart AWS configure l'emplacement externe et crée un identifiant de stockage pour vous. Si vous choisissez d'utiliser l'option Manuelle , vous devez créer manuellement un rôle IAM qui donne accès au compartiment S3 et créer vous-même l'identifiant de stockage dans Databricks.

5. Dans la boîte de dialogue Créer un emplacement externe avec Démarrage rapide , saisissez le chemin du compartiment S3 dans le champ Nom du compartiment .

6. Cliquez sur Générer un nouveau jeton pour générer le jeton d'accès personnel que vous utiliserez pour vous authentifier entre Databricks et votre compte AWS.

7. Copiez le jeton et cliquez sur Lancer le démarrage rapide .

8. Dans le Template CloudFormation AWS qui se lance (intitulé Pile de création rapide ), collez le jeton dans le champ Identifiants de compte Databricks .

9. Acceptez les conditions en bas de page ( Je reconnais qu'AWS CloudFormation pourrait créer des ressources IAM avec des noms personnalisés ).

10. Cliquez sur « Créer une pile ».

    La création de l'objet d'emplacement externe dans Databricks par le template CloudFormation peut prendre quelques minutes.

11. Retournez à votre Workspace Databricks et accédez au volet Emplacements externes dans l' Explorateur de catalogues .

    Dans le volet gauche de l'Explorateur de catalogues, faites défiler vers le bas et cliquez sur Connecter , puis cliquez sur Emplacements externes .

12. Confirmez qu'un nouvel emplacement externe a été créé.

    Les emplacements externes générés automatiquement utilisent la syntaxe de nommage db_s3_external_databricks-S3-ingest-<id>.

13. Octroyez-vous le privilège CREATE MANAGED STORAGE sur l'emplacement externe.

    1. Cliquez sur le nom de l'emplacement externe pour ouvrir le volet de détails.
    2. Dans l'onglet **tab**, cliquez sur **Accorder**.
    3. Dans la boîte de dialogue Accorder sur <external location> , sélectionnez-vous dans le champ Principaux et sélectionnez CREATE MANAGED STORAGE.
    4. Cliquez sur Accorder .

Étape 3 : Ajouter l'emplacement de stockage au métastore

Après avoir créé un emplacement externe qui représente le bucket de stockage du metastore, vous pouvez l'ajouter au metastore.

1. En tant qu'administrateur de compte, connectez-vous à la console du compte.

2. Cliquez sur le Catalogue .

3. Cliquez sur le nom du métastore.

4. Confirmez que vous êtes l' Administrateur du métastore.

   Si ce n'est pas le cas, cliquez sur Modifier et attribuez-vous le rôle d'administrateur du metastore. Vous pouvez vous désaffecter une fois que vous avez terminé cette procédure.

5. Sous l'onglet Configuration , à côté de Chemin du bucket S3 , cliquez sur Définir .

6. Dans la boîte de dialogue **Définir la racine du metastore**, saisissez le chemin d'accès au compartiment S3 que vous avez utilisé pour créer l'emplacement externe, puis cliquez sur **Mettre à jour**.

   Vous ne pouvez pas modifier ce chemin une fois qu'il est défini, mais vous pouvez le supprimer et ajouter un nouveau chemin si nécessaire.

Supprimer le stockage au niveau du métastore

Si vous disposez d'un stockage au niveau du métastore pour les tables et les volumes gérés (également appelé racine de stockage du métastore), mais que vous souhaitez appliquer l'isolation du stockage des données au niveau du catalogue ou du schéma, vous pouvez supprimer l'option de stockage au niveau du métastore pour le métastore. Lorsque vous le faites, il se passe ce qui suit :

• Les catalogues existants sans racine de stockage spécifiée reçoivent l'emplacement de stockage cloud de la racine de stockage du metastore comme emplacement de stockage géré au niveau du catalogue. En d’autres termes, la racine de stockage du métastore est « transférée » à ces catalogues. L'accès aux données dans ces catalogues continue de fonctionner sans interruption.
• Selon la façon dont votre metastore a été créé, il est possible qu'aucun emplacement externe sécurisable ne soit défini dans Unity Catalog pour la racine de stockage du metastore. Dans ce cas, un nouvel emplacement externe et un identifiant de stockage associé sont créés pour celui-ci. Le nouvel emplacement externe est nommé prior_metastore_root_location par default.
• Chaque fois qu'un utilisateur crée un catalogue, il doit fournir un emplacement de stockage dédié qui est enregistré dans Unity Catalog comme emplacement externe.

remarque

Si vous utilisez OpenSharing pour partager des Notebooks et que vous avez utilisé la racine du metastore comme emplacement de stockage de Notebooks partagés, vous devez effectuer les opérations suivantes avant de pouvoir supprimer la racine du metastore :

1. Supprimez votre Notebook du partage.
2. Réajoutez le notebook en utilisant un emplacement de stockage dédié.

Voir Ajouter des fichiers Notebook à un partage.

Pour supprimer la racine de stockage du métastore :

1. En tant qu'administrateur de compte, connectez-vous à la console du compte.
2. Cliquez sur le Catalogue .
3. Cliquez sur le nom du métastore.
4. Dans le **tab** **Configuration**, sous **Chemin d’accès au compartiment S3**, cliquez sur le bouton **Supprimer**.
5. Dans la boîte de dialogue de confirmation, cliquez sur Supprimer .

Ajouter un administrateur de metastore

Les administrateurs de métastore sont facultatifs, mais il existe des situations où vous pourriez en vouloir un pour votre métastore. Consultez Attribuer un administrateur du métastore.

Supprimer un metastore

Si vous fermez votre compte Databricks ou avez une autre raison de supprimer l'accès aux données gérées par votre métastore Unity Catalog, vous pouvez supprimer le métastore.

attention

Tous les objets gérés par le metastore deviendront inaccessibles à l'aide des workspaces Databricks. Cette action ne peut pas être annulée.

Les données et métadonnées des tables gérées seront supprimées automatiquement après 30 jours. Les données de table externe dans votre stockage cloud ne sont pas affectées par la suppression du métastore.

Pour supprimer un metastore :

1. En tant qu'administrateur de metastore, connectez-vous à la console du compte.
2. Cliquez sur le Catalogue .
3. Cliquez sur le nom du métastore.
4. Dans l'onglet **Configuration**, cliquez sur le menu à trois boutons en haut à droite et sélectionnez **Supprimer**.
5. Dans la boîte de dialogue de confirmation, saisissez le nom du métastore et cliquez sur Supprimer .