Tabelas e visualização em Databricks

Tabelas, views, visualizações materializadas e tabelas de transmissão são os principais objetos de dados para engenharia de dados no Databricks, cada um com diferentes comportamentos de armazenamento e refresh.

Tabela

Uma tabela é um site estruturado dataset armazenado em um local específico. O tipo de tabela default criado em Databricks é uma tabela gerenciar Unity Catalog. As tabelas podem ser consultadas e manipuladas usando SQL comando ou DataFrame APIs, suportando operações como INSERT, UPDATE, DELETE, e MERGE INTO. Ver tabelas Databricks

visualização

Um view é uma tabela virtual definida por uma consulta que não armazena dados e pode apresentar dados de uma ou mais tabelas em um formato ou abstração específicos. são úteis para simplificar consultas complexas, encapsular a lógica comercial e fornecer uma interface consistente para os dados subjacentes sem duplicar o armazenamento. Consulte O que é um view?

Materializado view

Semelhante a uma view, uma view materializada é definida por uma query. No entanto, ao contrário de uma view, uma view materializada pré-computa e armazena o resultado da query. Queries podem ser executadas mais rapidamente em views materializadas do que em views, mas ocupam armazenamento extra. Você pode usar o Databricks SQL para criar e refresh uma view materializada autônoma ou usar LakeFlow Pipelines para criar e refresh uma ou mais views materializadas, tabelas de transmissão e views. Consulte Usar views materializadas autônomas e Views materializadas.

mesa de transmissão

Uma tabela de transmissão é um tipo de tabela gerenciada do Unity Catalog que inclui a lógica de processamento usando flows para defini-la. Você pode usar o Databricks SQL para criar e refresh uma tabela de transmissão independente ou usar os LakeFlow Pipelines para criar e refresh uma ou mais tabelas de transmissão, views materializadas e views. Consulte Usar tabelas de transmissão independentes e Tabelas de transmissão.

Materialized view vs. tabela de transmissão

A visualização materializada e as tabelas de transmissão são dois objetos de dados comuns usados na engenharia de dados. A visualização materializada usa a semântica de lotes e as tabelas de transmissão usam a semântica de transmissão. Para obter uma comparação entre lotes e transmissão e considerações sobre como escolhê-los para suas cargas de trabalho de engenharia de dados, consulte lotes vs. processamento de dados de transmissão em Databricks.