Databricks テーブル

Databricks は、さまざまなデータ マネジメントのニーズを満たすために、複数のテーブル タイプとストレージ形式を提供します。 このセクションでは、マネージドテーブル、外部テーブル、フォーリンテーブル、およびアトミック性、一貫性、分離性、耐久性などの高度な機能を強化する Delta Lake および Apache Iceberg ストレージ形式について説明します (ACIDトランザクションとタイムトラベル。

コアコンセプト

テーブルの種類、ストレージ形式、Unity Catalog 統合の基礎について説明します。

トピック	説明
テーブルの概念	テーブルの種類、ストレージ形式、Unity Catalog 統合に関するコア概念と基本情報。

テーブルタイプ

さまざまなテーブルタイプとその機能を調べて、さまざまなデータマネジメントのシナリオに対応します。

テーブルの種類	説明
マネージドテーブル	Databricks がメタデータとデータ ファイルの両方を管理するテーブル。パフォーマンスとストレージが最適化された新しいテーブルに推奨されます。
外部テーブル	Unity Catalog でメタデータを管理するときに、外部ストレージ システムに格納されているデータを参照するテーブル。
フォーリンテーブル	レイクハウスフェデレーションを介して接続された外部システムのデータを表す読み取り専用テーブル。

ストレージ形式

高度なデータマネジメント機能を提供するオープンテーブル形式を使用します。

フォーマット	説明
Delta Lake	管理されたテーブルと外部テーブルに ACIDトランザクション、タイムトラベル、スキーマ強制を提供するデフォルトストレージ形式。
Apache Iceberg	Icebergエコシステムと統合するためのオープンテーブル形式で、高度なメタデータ管理をサポートします。

テーブル管理

テーブルの動作、構造、およびパフォーマンスを構成および最適化します。

機能	説明
テーブルの制約	データ品質ルールを定義し、null 制約ではなくチェック制約を使用して適用します。
スキーマ強制	書き込み中に Databricks がスキーマの変更とデータ型の適用を処理する方法を制御します。
テーブルのパーティション分割	パーティションキーでデータを整理して、クエリのパフォーマンスを向上させ、データマネジメントを向上させます。
テーブルサイズモニタリング	テーブル ストレージの使用状況と増加パターンを監視および分析します。
外部から管理への変換	外部テーブルをマネージドテーブルに移行して、パフォーマンスと管理を向上させます。
外部パーティションの検出	自動的に検出して登録するパーティション in 外部テーブル クラウドストレージに格納されています。