Tables et vues dans Databricks

Les tables, les vues, les vues matérialisées et les tables de streaming sont les objets de données fondamentaux pour la Data Engineering dans Databricks, chacun avec un comportement de stockage et de refresh différent.

Table

Une table est un dataset structuré stocké dans un emplacement spécifique. Le type de table par default créé dans Databricks est une table gérée par Unity Catalog. Les tables peuvent être interrogées et manipulées à l’aide de commandes SQL ou d’APIs DataFrame, prenant en charge des opérations comme INSERT, UPDATE, DELETE, et MERGE INTO. Consultez les tables Databricks

Afficher

Une vue est une table virtuelle définie par une query qui ne stocke pas de données et peut présenter des données provenant d'une ou plusieurs tables dans un format ou une abstraction spécifique. Les vues sont utiles pour simplifier les requêtes complexes, encapsuler la logique métier et fournir une interface cohérente aux données sous-jacentes sans dupliquer le stockage. Voir Qu'est-ce qu'une vue ?

Vue matérialisée

Similaire à une vue, une vue matérialisée est définie par une query. Cependant, contrairement à une vue, une vue matérialisée précalcule et stocke le résultat de la query. Les requêtes peuvent s'exécuter plus rapidement sur une vue matérialisée que sur des vues, mais elles occupent un espace de stockage supplémentaire. Vous pouvez utiliser Databricks SQL pour créer et refresh une vue matérialisée autonome ou utiliser les LakeFlow Pipelines pour créer et refresh une ou plusieurs vues matérialisées, tables de streaming et vues. Voir Utiliser des vues matérialisées autonomes et Vues matérialisées.

Table de streaming

Une table de streaming est un type de table gérée par Unity Catalog qui inclut la logique de traitement utilisant des flux pour la définir. Vous pouvez utiliser Databricks SQL pour créer et refresh une table de streaming autonome ou utiliser Lakeflow pipelines pour créer et refresh une ou plusieurs tables de streaming, vues matérialisées et vues. Voir Utiliser des tables de streaming autonomes et Tables de streaming.

Vue matérialisée par rapport à la table streaming

Les vues matérialisées et les tables de streaming sont deux objets de données courants utilisés pour le Data Engineering. Les vues matérialisées utilisent la sémantique batch et les tables de streaming utilisent la sémantique streaming. Pour une comparaison entre le batch et le streaming, et des considérations pour les choisir pour vos charges de travail de Data Engineering, consultez Traitement de données batch ou streaming dans Databricks.