Assets gérés et externes dans Unity Catalog
Chaque objet sécurisable que vous enregistrez dans Unity Catalog est gouverné de manière centralisée. Cela signifie que Unity Catalog gère les métadonnées de l'objet, lui permettant de contrôler tous les aspects de la gouvernance, y compris l'accès, l'audit et la traçabilité.
Toutefois, pour les assets de données comme les tables et les volumes, Unity Catalog peut également contrôler l'emplacement de stockage et le cycle de vie des fichiers de données sous-jacents dans votre compte cloud, ce qui inclut la manière dont ils sont organisés, optimisés et quand ils sont supprimés. Cette distinction sépare les assets de données gérés des assets externes .
- Assets gérés : Unity Catalog contrôle à la fois la gouvernance (contrôle d’accès, audit, traçabilité) et le cycle de vie du stockage de fichiers sous-jacent (optimisation des fichiers, leur organisation et leur suppression).
- Assets externes : Unity Catalog ne gère que la gouvernance. Le cycle de vie du stockage de fichiers sous-jacent est contrôlé par vous ou par un système externe.
Lorsque vous enregistrez un asset géré dans Unity Catalog, vous conservez la pleine propriété de vos données. Les fichiers de données restent toujours dans votre compte cloud. Unity Catalog détermine où ils sont stockés dans votre compte, mais ne les transfère pas à Databricks et ne les possède pas.
La distinction entre géré et externe s'applique uniquement aux tables et aux volumes. Les autres objets sécurisables de Unity Catalog, tels que les vues, les modèles et les fonctions, n'ont pas de variantes gérées et externes.
Résumé des différences
Le tableau suivant résume les différences entre les assets gérés et externes dans Unity Catalog :
Propriété | Table ou volume géré par Unity Catalog | Table externe ou volume |
|---|---|---|
Emplacement de stockage. | Défini par Unity Catalog (dans votre compte cloud). | Défini par vous |
Gestion du cycle de vie du fichier | Géré par Unity Catalog (optimisation, organisation, suppression) | Géré par vous |
Suppression de comportement | Les fichiers de données sont supprimés définitivement après une période de rétention de 8 jours. | Les fichiers de données restent en place. |
Propriété des données | Oui | Oui |
Utilisations du mot « gérer » dans Unity Catalog
Le mot gérer a de multiples usages dans Unity Catalog. Cette section résume la signification du terme gérer dans différents contextes.
Lorsque l'on dit que qu'un objet est géré par Unity Catalog , cela signifie généralement que Unity Catalog en régit l'accès. Cela s'applique à tous les objets Unity Catalog enregistrés, y compris les tables externes et les volumes.
Le mot géré dans « table gérée » ou « volume géré » a une signification plus spécifique : Unity Catalog détermine l'emplacement de stockage des fichiers de données sous-jacents dans votre compte cloud, et contrôle le cycle de vie des fichiers (optimisation, organisation et suppression). Ceci est désigné sous le nom d' emplacement de stockage géré . Vos données restent en permanence dans votre compte cloud. Databricks ne possède ni ne détient vos données.
Le mot MANAGE apparaît également comme un privilège que vous pouvez attribuer aux objets Unity Catalog. Généralement, MANAGE permet à un utilisateur d’attribuer ou de révoquer des privilèges sur un objet, d’en transférer la propriété et de le supprimer sans en être le propriétaire. Consultez MANAGE.
Le tableau suivant résume ces utilisations courantes de manage :
Terme | Signification | S'applique à |
|---|---|---|
« Géré par Unity Catalog » | Unity Catalog gère l'accès, l'audit et la traçabilité de l'objet. | Tous les objets Unity Catalog enregistrés, y compris les tables externes et les volumes |
*Table gérée* ou *volume géré* | Unity Catalog contrôle également l'emplacement de stockage sous-jacent (emplacement de stockage géré) et le cycle de vie des données au sein de votre compte cloud. | Tables et volumes seulement |
Emplacement de stockage géré. | Un chemin d'accès désigné au sein de votre compte cloud où Unity Catalog stocke les fichiers de données pour les tables et volumes gérés. Vous pouvez configurer un emplacement de stockage géré au niveau du metastore, du catalogue ou du schéma. Consultez Spécifier un emplacement de stockage géré dans Unity Catalog. | Tables et volumes seulement |
| Un privilège qui permet à un utilisateur d'attribuer ou de révoquer des privilèges, de transférer la propriété et de supprimer un objet sans en être le propriétaire. Voir GÉRER. | Tous les objets sécurisables de Unity Catalog |
Tables gérées et externes
Une table gérée par Unity Catalog est une table où Unity Catalog détermine l'emplacement de stockage des fichiers de données sous-jacents. Unity Catalog stocke les tables gérées à l'emplacement de stockage géré défini sur le schéma, le catalogue ou le métastore conteneur. Lorsque vous supprimez une table gérée, Unity Catalog supprime les fichiers de données sous-jacents. Les tables gérées utilisent le format Delta ou Apache Iceberg.
Une **table externe** est une table où vous spécifiez l'emplacement de stockage des fichiers de données sous-jacents. Lorsque vous supprimez une table externe, Unity Catalog supprime les métadonnées de la table du metastore, mais les fichiers de données sous-jacents restent en place. Les tables externes prennent en charge plusieurs formats, notamment Delta, CSV, JSON, Avro, Parquet et ORC.
Pour plus d'informations sur les types de tables, consultez les types de tables Databricks Unity Catalog.
Les tables gérées et externes prennent en charge l'accès en lecture, écriture et création à partir de moteurs externes via des APIs ouvertes, y compris l'API REST Unity et l'API REST Catalog Iceberg (IRC). Cela signifie que les tables gérées n'entraînent pas de dépendance vis-à-vis d'un fournisseur. Tout moteur qui prend en charge ces APIs peut accéder aux tables gérées. Voir Accéder aux données Databricks à l'aide de systèmes externes.
Volumes gérés et externes
Un **volume géré Unity Catalog** est un volume où Unity Catalog détermine l'emplacement de stockage. Unity Catalog stocke automatiquement les volumes gérés dans l'emplacement de stockage géré du schéma conteneur au sein de votre compte cloud. Comme pour les tables gérées, vous conservez la propriété complète des données sous-jacentes. Lorsque vous supprimez un volume géré, Unity Catalog supprime les fichiers de données sous-jacents.
Un **volume externe** est un volume où vous spécifiez l'emplacement de stockage. L'emplacement doit être un chemin couvert par un emplacement externe du Unity Catalog. Lorsque vous supprimez un volume externe, Unity Catalog supprime la définition du volume, mais les fichiers de données sous-jacents restent en place.
Pour plus d'informations sur les volumes, consultez Qu'est-ce que les volumes Unity Catalog ?