Cycle de vie du stockage d'objets dans Unity Catalog
Lorsque vous supprimez un objet sécurisable Unity Catalog (via l'Explorateur de catalogues, SQL DROP, etc.), ce qui se passe dépend du type d'objet et du type de stockage. Cette page décrit le cycle de vie des fichiers de données, la facturation du stockage et les options de récupération après suppression.
Le type de stockage détermine ce qui arrive aux fichiers de données
Pour les tables et les volumes, ce qu'il advient des fichiers de données sous-jacents dépend si l'asset est géré ou externe. Pour en savoir plus sur cette distinction, consultez Assets gérés et externes dans Unity Catalog.
-
Tables et volumes gérés : Unity Catalog contrôle l'emplacement de stockage et le cycle de vie des fichiers de données. Les fichiers de données se trouvent dans l'emplacement de stockage géré défini au niveau du métastore, du catalogue ou du schéma. Lorsque vous supprimez une table gérée ou un volume géré, Unity Catalog supprime les fichiers de données sous-jacents via un cycle de vie en plusieurs phases. Les emplacements de stockage gérés se présentent sous deux types :
- Databricks default storage : Stockage d'objets que Databricks provisionne et gère dans votre compte Databricks.
- Stockage géré fourni par le client : emplacement de stockage cloud dans votre compte cloud, configuré au niveau du métastore, du catalogue ou du schéma, vers lequel Databricks écrit et gère les données.
Les deux variantes partagent le même cycle de vie des fichiers de données, mais la facturation et la rétention des fichiers après suppression diffèrent. Voir Objets gérés sur le stockage default Databricks par rapport au stockage fourni par le client.
-
Tables et volumes externes : Vous contrôlez l'emplacement de stockage et le cycle de vie. Lorsque vous supprimez une table ou un volume externe, Unity Catalog supprime les métadonnées du metastore, mais les fichiers de données restent dans votre emplacement de stockage cloud.
-
Catalogues externes et fédérés : Les données résident dans une autre source de données (telle qu’une base de données fédérée via Lakehouse Federation, ou un Hive metastore via la fédération Hive metastore). Unity Catalog ne contient que les métadonnées de connexion. Lorsque vous supprimez un catalogue externe, Unity Catalog supprime les métadonnées de connexion. Les données du système source ne sont pas affectées.
Pour les autres objets sécurisables (catalogues, schémas, vues, fonctions, modèles), la suppression ne supprime que les métadonnées — il n’y a pas de fichiers de données associés à gérer pour Unity Catalog. La suppression d'un catalogue ou d'un schéma avec CASCADE supprime les tables et les volumes qu'il contient, chacun selon son propre comportement géré ou externe ci-dessus.
Récupérer un objet supprimé.
La manière de récupérer un objet supprimé dépend du type d'objet.
Type d'objet | Récupération |
|---|---|
Tables, vues matérialisées, tables de streaming | Utilisez UNDROP dans les 7 jours suivant la suppression. Les vues matérialisées et les tables de streaming doivent avoir été créées à partir d'un pipeline ETL, et ce pipeline doit toujours exister. |
Catalogues, schémas, volumes, vues, fonctions, modèles | Ne peut pas être récupéré après suppression. |
La récupération est limitée dans le temps et au mieux. Supprimez un objet seulement après avoir confirmé que vous n'avez plus besoin des données. Utilisez l'option RESTRICT (par default) sur DROP CATALOG et DROP SCHEMA pour éviter la suppression récursive accidentelle d'objets non vides.
Cycle de vie des données gérées après une suppression
La suppression d’une table ou d’un volume géré ne supprime pas immédiatement les fichiers de données du stockage cloud. Les fichiers de données sont conservés pendant une fenêtre de récupération et supprimés définitivement par la suite.
Phase 1 : Fenêtre de récupération
Pendant 7 jours après la suppression, Unity Catalog conserve les données supprimées de manière logique afin que vous puissiez récupérer l’objet. Pendant cette fenêtre :
- Utilisez la commande UNDROP SQL pour récupérer des tables, des vues matérialisées et des tables de streaming.
- Unity Catalog conserve les métadonnées de l'objet supprimé, et la facturation du stockage se poursuit.
Phase 2 : purge
Lorsque la fenêtre de récupération de 7 jours se termine, l'objet ne peut plus être récupéré. Unity Catalog supprime définitivement les fichiers de données dans les 48 heures. Pour plus de détails sur la facturation du stockage à chaque phase, consultez Facturation du stockage après une suppression.
Objets gérés sur le stockage default de Databricks par rapport au stockage fourni par le client.
Les objets gérés peuvent utiliser deux types de stockage géré. Le cycle de vie des données et le comportement de purge de Unity Catalog sont les mêmes, mais la facturation et la rétention des fichiers après purge diffèrent.
Type de stockage | Purge de fichiers |
|---|---|
Stockage Databricks default (géré par Databricks en votre nom) | Unity Catalog supprime définitivement les fichiers de données dans les 48 heures suivant la fin de la fenêtre de récupération. |
**Stockage géré fourni par le client** (un emplacement de stockage cloud que vous avez configuré sur le métastore, le catalogue ou le schéma) | Unity Catalog supprime définitivement les fichiers de données dans les 48 heures suivant la fin de la fenêtre de récupération. Vos politiques de stockage cloud (gestion des versions d'objets, suppression logicielle, règles de cycle de vie) peuvent conserver les fichiers au-delà de ce point. Votre fournisseur cloud vous facture le stockage conformément à ces politiques. |
Pour en savoir plus sur le stockage par default de Databricks, consultez Stockage par default dans Databricks. Pour configurer le stockage géré fourni par le client, consultez Spécifier un emplacement de stockage géré dans Unity Catalog.
Tables et volumes externes
Lorsque vous supprimez une table externe ou un volume externe, Unity Catalog supprime les métadonnées du metastore. Les fichiers de données de votre stockage cloud ne sont pas supprimés. Votre fournisseur cloud continue de vous facturer le stockage en fonction des politiques de votre compartiment.
Pour supprimer les fichiers, supprimez-les directement du stockage cloud.
Catalogues étrangers et fédérés
Un catalogue étranger contient des métadonnées qui référencent une source de données externe. Lorsque vous supprimez un catalogue étranger, Unity Catalog supprime les métadonnées de connexion. Les données du système source ne sont pas affectées. Databricks ne vous facture pas le stockage dans le système source ; la facturation du système source s'applique.
Facturation du stockage après une suppression
Le tableau suivant résume comment Databricks et votre fournisseur de services cloud facturent le stockage à chaque phase. Databricks ne facture le stockage que sur le stockage default Databricks, et uniquement pendant la fenêtre de récupération — la facturation du stockage s'arrête une fois la fenêtre de récupération de 7 jours passée. Pour le stockage géré fourni par le client et le stockage externe, votre fournisseur cloud vous facture directement.
Type de stockage | Fenêtre de récupération | Purger la phase 2 | Après purge |
|---|---|---|---|
Géré sur le stockage default de Databricks | Facturé par Databricks | Non facturable pour les clients (la facturation s'arrête une fois la fenêtre de récupération passée) | Non applicable |
Géré sur un stockage fourni par le client | Fournisseur cloud facturé | Fournisseur cloud facturé | Fournisseur de cloud facturé (régie par les politiques de votre compartiment) |
Tables externes et volumes | Facturé par le fournisseur cloud (les fichiers ne sont pas supprimés) | Fournisseur cloud facturé | Fournisseur cloud facturé |
Catalogues étrangers et fédérés | Non applicable | Non applicable | Non applicable |
Après la suppression d’un objet géré sur un stockage fourni par le client, vous pourriez toujours voir des frais de stockage de votre fournisseur de cloud. Pour réduire ces frais, vérifiez la gestion des versions des objets, la suppression logicielle et les stratégies de cycle de vie de votre compartiment.
Supprimer un objet de Catalog Explorer
Vous pouvez supprimer des objets Unity Catalog depuis Catalog Explorer dans l’interface utilisateur du workspace. Le cycle de vie des données décrit dans cet article s'applique, que vous supprimiez un objet de Catalog Explorer ou que vous exécutiez une instruction SQL DROP.
- Supprimer un catalogue : consultez Supprimer un catalogue.
- Supprimer un schéma : voir Gérer les schémas.
- Supprimer un volume : voir Supprimer un volume.
Que se passe-t-il lorsque vous supprimez un Workspace
Par default, la suppression d'un Workspace n'entraîne pas automatiquement la suppression du catalogue Unity Catalog par default du Workspace. Si le catalogue est conservé, ses tables et volumes gérés demeurent, et la facturation du stockage se poursuit jusqu'à ce que le catalogue soit supprimé.
Le catalogue du workspace doit être supprimé manuellement après la suppression du workspace. Supprimez le catalogue d'un autre workspace attribué au même métastore. Consultez Comportement de rétention du catalogue du workspace.
Pour plus de détails sur la suppression du Workspace, consultez Supprimer un Workspace.