Tabelas do Databricks

Databricks suporta vários tipos de tabelas e formatos de armazenamento para atender a diferentes necessidades de gerenciamento de dados. Para uma visão geral dos tipos de tabela, formatos de armazenamento e integração Unity Catalog , consulte Conceitos de tabelasDatabricks.

Tipos de mesa

Explore diferentes tipos de tabelas e seus recursos para vários cenários de gerenciamento de dados.

• • Unity Catalog gerencia tabelas no Databricks para Delta Lake e Apache Iceberg
  • Databricks gerencia metadados e arquivos de dados para novas tabelas que exigem desempenho otimizado.
• • Mesas temporárias
  • Unity Catalog com escopo de sessão gerencia tabelas para dados intermediários. Somente para o banco de dados SQL .
• • Trabalhar com tabelas externas
  • Dados armazenados em sistemas externos. Unity Catalog gerencia apenas metadados.
• • Trabalhar com tabelas estrangeiras
  • Acesso somente leitura aos dados em sistemas externos conectados através da Federação Lakehouse.

Formatos de armazenamento

Trabalhe com formatos de tabela abertos que suportem recursos avançados de gerenciamento de dados.

• • Delta Lake
  • formato de armazenamento padrão com transações ACID, viagem do tempo e imposição de esquema para gerenciamento e tabelas externas.
• • Iceberg Apache
  • Formato de tabela aberto para integração com o ecossistema Iceberg, com suporte ao gerenciamento avançado de metadados.

Gerenciamento de tabelas

Configurar e otimizar o comportamento, a estrutura e o desempenho da tabela.

• • Restrições de tabela
  • Defina e aplique regras de qualidade de dados com restrições de verificação e não com restrições nulas.
• • Imposição de esquema
  • Controle como o Databricks lida com alterações de esquema e aplicação de tipo de dados durante as gravações.
• • Particionamento de tabelas
  • Organizar os dados por chave de partição para melhorar o desempenho da consulta e o gerenciamento de dados.
• • Monitoramento do tamanho da tabela
  • Monitore e analise o uso do armazenamento de tabelas e os padrões de crescimento.
• • Converter externo para gerenciar
  • Migrar tabelas externas para gerenciar tabelas para melhorar o desempenho e o gerenciamento.
• • Descoberta de partições externas
  • Descobrir e registrar automaticamente partições em tabelas externas armazenadas no storage cloud.