Tabelas e visualização em Databricks

Este artigo apresenta uma visão geral das tabelas, visualizações, tabelas de transmissão e visualizações materializadas em Databricks.

Tabela

Uma tabela é um site estruturado dataset armazenado em um local específico. O tipo de tabela default criado em Databricks é uma tabela gerenciar Unity Catalog. As tabelas podem ser consultadas e manipuladas usando SQL comando ou DataFrame APIs, suportando operações como INSERT, UPDATE, DELETE, e MERGE INTO. Ver tabelas Databricks

visualização

Um view é uma tabela virtual definida por uma consulta que não armazena dados e pode apresentar dados de uma ou mais tabelas em um formato ou abstração específicos. são úteis para simplificar consultas complexas, encapsular a lógica comercial e fornecer uma interface consistente para os dados subjacentes sem duplicar o armazenamento. Consulte O que é um view?

Materializado view

Semelhante a uma view, uma view materializada é definida por uma consulta. No entanto, diferentemente de uma view, uma view materializada pré-computa e armazena o resultado da consulta. As consultas podem ser executadas mais rapidamente em view materializadas do que em visões normais, mas ocupam mais espaço de armazenamento. Você pode usar Databricks SQL para criar e refresh uma view materializada independente ou usar o pipeline declarativo LakeFlow Spark para criar e refresh uma ou mais visualizações materializadas, tabelas de transmissão e visualizações. Consulte Usar visualização materializada em Databricks SQL e Visualização materializada.

mesa de transmissão

Uma tabela de transmissão é um tipo de tabela de gerenciamento Unity Catalog que inclui a lógica de processamento usando fluxos para defini-la. Você pode usar Databricks SQL para criar e refresh uma tabela de transmissão independente ou usar o pipeline declarativo LakeFlow Spark para criar e refresh uma ou mais tabelas de transmissão, visualizações materializadas e visualizações. Consulte Usar tabelas de transmissão em Databricks SQL e tabelas de transmissão.

Materialized view vs. tabela de transmissão

A visualização materializada e as tabelas de transmissão são dois objetos de dados comuns usados na engenharia de dados. A visualização materializada usa a semântica de lotes e as tabelas de transmissão usam a semântica de transmissão. Para obter uma comparação entre lotes e transmissão e considerações sobre como escolhê-los para suas cargas de trabalho de engenharia de dados, consulte lotes vs. processamento de dados de transmissão em Databricks.