Databricks テーブル

Databricks は、さまざまなデータ マネジメントのニーズを満たすために、複数のテーブル タイプとストレージ形式を提供します。 このセクションでは、マネージドテーブル、外部テーブル、フォーリンテーブル、およびアトミック性、一貫性、分離性、耐久性などの高度な機能を強化する Delta Lake および Apache Iceberg ストレージ形式について説明します (ACIDトランザクションとタイムトラベル。

コアコンセプト

テーブルの種類、ストレージ形式、Unity Catalog 統合の基礎について説明します。

トピック	説明
テーブルの概念	テーブルの種類、ストレージ形式、Unity Catalog 統合に関するコア概念と基本情報。

テーブルタイプ

さまざまなテーブルタイプとその機能を調べて、さまざまなデータマネジメントのシナリオに対応します。

テーブルの種類	説明
DatabricksにおけるDelta LakeとApache IcebergのUnity Catalog マネージドテーブル	Databricks はメタデータとデータ ファイルを管理します。最適化されたパフォーマンスを必要とする新しいテーブルに使用されます。
一時テーブル	中間データ用のセッションスコープのUnity Catalogマネージドテーブル。 SQLウェアハウスのみ。
外部テーブルを操作する	外部システムに保存されたデータ。Unity Catalog はメタデータのみを管理します。
フォーリンテーブルを使用する	レイクハウスフェデレーションを通じて接続された外部システムのデータへの読み取り専用アクセス。

ストレージ形式

高度なデータマネジメント機能を提供するオープンテーブル形式を使用します。

フォーマット	説明
Delta Lake	管理されたテーブルと外部テーブルに ACIDトランザクション、タイムトラベル、スキーマ強制を提供するデフォルトストレージ形式。
Apache Iceberg	Icebergエコシステムと統合するためのオープンテーブル形式で、高度なメタデータ管理をサポートします。

テーブル管理

テーブルの動作、構造、およびパフォーマンスを構成および最適化します。

機能	説明
テーブルの制約	データ品質ルールを定義し、null 制約ではなくチェック制約を使用して適用します。
スキーマ強制	書き込み中に Databricks がスキーマの変更とデータ型の適用を処理する方法を制御します。
テーブルのパーティション分割	パーティションキーでデータを整理して、クエリのパフォーマンスを向上させ、データマネジメントを向上させます。
テーブルサイズモニタリング	テーブル ストレージの使用状況と増加パターンを監視および分析します。
外部から管理への変換	外部テーブルをマネージドテーブルに移行して、パフォーマンスと管理を向上させます。
外部パーティションの検出	自動的に検出して登録するパーティション in 外部テーブル クラウドストレージに格納されています。