Désactiver l'accès au Hive metastore utilisé par votre Workspace Databricks
Cette page explique comment désactiver l'accès direct au Hive metastore hérité utilisé par votre Workspace Databricks, qu'il s'agisse du Hive metastore local au Workspace ou d'un Hive metastore externe, y compris AWS Glue. Lorsque vous avez terminé votre migration Unity Catalog ou fédéré votre Hive metastore en tant que catalogue étranger régi par Unity Catalog, vous pouvez utiliser un simple paramètre d'administrateur de workspace pour empêcher les utilisateurs de contourner Unity Catalog et d'accéder aux tables enregistrées dans le Hive metastore.
Les données dans le Hive metastore ne sont pas régies par Unity Catalog. La désactivation de l'accès direct au Hive metastore est une étape importante dans le processus de migration vers Unity Catalog et garantit que vous tirez pleinement parti de la gouvernance des données de Unity Catalog. Vous pouvez désactiver l'accès direct et continuer à interroger les tables gérées par votre Hive metastore en tirant parti de la fédération du Hive metastore. Vous pouvez fédérer les tables du Hive metastore avant ou après avoir désactivé l'accès direct du Workspace au Hive metastore. Voir Mettre à niveau les tables et vues Hive vers Unity Catalog et Fédération du Hive metastore : activer Unity Catalog pour gérer les tables enregistrées dans un Hive metastore.
Databricks désactive progressivement l'accès direct au Hive metastore (activant le mode Unity Catalog uniquement) pour les workspaces qui n'utilisent pas de Hive metastore. Si votre workspace n'a aucune activité par rapport au Hive metastore, l'accès hérité pourrait être automatiquement désactivé en votre nom à partir de juillet 2026.
Même après la migration vers Unity Catalog, les clusters de compute Databricks se connectent au Hive metastore par défaut, à moins que vous ne désactiviez explicitement l'accès au Hive metastore. Pour éviter que la maintenance du Hive metastore n'affecte vos charges de travail Unity Catalog, vous pouvez désactiver l'accès direct au Hive metastore pour tous les clusters et charges de travail en même temps (Désactiver tout accès direct au Hive metastore), ou utiliser une configuration Spark pour désactiver l'accès cluster par cluster (Désactiver tout accès direct au Hive metastore).
Pour désactiver l'accès au Hive metastore au niveau du compte pour les nouveaux Workspace, utilisez le paramètre de compte Désactiver les fonctionnalités héritées.
Avant de commencer : quand devriez-vous désactiver le metastore hérité ?
Avant de désactiver le Hive metastore existant, vous devez remplir les critères suivants :
- Vous avez terminé la migration de toutes les tables enregistrées dans le metastore hérité vers Unity Catalog, ou vous avez toujours utilisé Unity Catalog et jamais le Hive metastore.
- Vous voulez forcer vos utilisateurs à cesser d'utiliser les tables enregistrées dans le metastore hérité.
- Vous avez mis à niveau tous les jobs vers Databricks Runtime 13.3 LTS ou une version ultérieure.
Que se passe-t-il lorsque vous désactivez l'ancien metastore ?
Après avoir désactivé le métastore hérité :
-
Tous les jobs exécutés sur des tables enregistrées dans le Hive metastore échoueront.
-
Fallback est désactivé.
-
Les tâches exécutées sur des versions de Databricks Runtime inférieures à 13.3 échoueront.
Les Jobs en cours d'exécution continueront à fonctionner jusqu'à ce qu'ils soient terminés, mais les redémarrages sur ces clusters échoueront.
-
L'en-tête Legacy et le catalogue
hive_metastoredisparaissent du volet du navigateur de l'Explorateur de catalogues. -
Les commandes SQL qui tentent d'afficher le contenu du catalogue
hive_metastoreéchoueront.
Après 30 jours avec le métastore hérité désactivé, le workspace devient définitivement un workspace uniquement Unity Catalog. Après ce point, l'accès direct au Hive metastore ne peut plus être réactivé pour le Workspace.
La désactivation de l'accès hérité n'empêche pas les utilisateurs d'utiliser des informations d'identification au niveau du cluster, telles que des profils d'instance ou des Service Principal, disponibles sur un cluster. Databricks vous recommande de supprimer ces identifiants de vos clusters.
Les clusters Pas d’isolement partagé ne respectent pas le paramètre de désactivation de l'ancien Hive metastore. Pour empêcher les utilisateurs de créer et d’utiliser de tels clusters, activez le paramètre Renforcer l’isolation des utilisateurs pour le workspace. Consultez les types de clusters avec isolation des utilisateurs sur un workspace.
Désactiver tout accès direct au Hive metastore
Désactivez le Hive metastore hérité de votre Workspace à l'aide du paramètre d'administrateur du Workspace Désactiver l'accès hérité :
- En tant qu'administrateur de l'espace de travail, connectez-vous à votre Workspace Databricks.
- Cliquez sur le menu de profil d'utilisateur en haut à droite et sélectionnez Paramètres dans le menu.
- Accédez à Administrateur de Workspace > Sécurité .
- Définissez Désactiver l'accès hérité sur Désactivé : les fonctionnalités d'accès héritées ne peuvent pas être utilisées .
- Pour vous assurer que le nouveau paramètre a pris effet, attendez environ cinq minutes.
- Redémarrez tous les clusters en cours d'exécution.
Désactiver l'accès pour les clusters de compute individuels
Vous pouvez également désactiver l'accès direct au Hive metastore progressivement, cluster par cluster. Cette approche peut être utile lors d'une migration Unity Catalog lorsque vous souhaitez réduire progressivement la dépendance vis-à-vis du Hive metastore jusqu'à ce que vous puissiez le désactiver pour l'ensemble du workspace.
Pour désactiver l'accès direct, définissez les configurations Spark suivantes sur le cluster :
spark.databricks.unityCatalogOnlyMode True
spark.databricks.sql.initial.catalog.namespace <catalog-name>
Remplacez <catalog-name> par le nom d'un catalogue Unity Catalog existant dans votre metastore. Lorsque vous activez le mode Unity Catalog uniquement, vous devez également définir un catalogue initial, car le cluster ne peut plus utiliser hive_metastore comme catalogue par default.