Databricks テーブル

Databricks 、さまざまなデータ管理のニーズを満たすために、複数のテーブル タイプとストレージ形式をサポートしています。 テーブルの種類、ストレージ形式、およびUnity Catalogの統合の概要については、 Databricksテーブルの概念」を参照してください。

テーブルタイプ

さまざまなテーブルタイプとその機能を調べて、さまざまなデータマネジメントのシナリオに対応します。

• • DatabricksにおけるDelta LakeとApache IcebergのUnity Catalog マネージドテーブル
  • Databricksは、パフォーマンスの最適化が必要な新規テーブルのメタデータとデータファイルを管理します。
• • 一時テーブル
  • 中間データ用のセッションスコープのUnity Catalogマネージドテーブル。 SQLウェアハウスのみ。
• • 外部テーブルを操作する
  • 外部システムに保存されたデータ。Unity Catalog はメタデータのみを管理します。
• • フォーリンテーブルを使用する
  • レイクハウスフェデレーションを通じて接続された外部システムのデータへの読み取り専用アクセス。

ストレージ形式

高度なデータ管理機能をサポートするオープン テーブル形式を使用します。

• • Delta Lake
  • 管理対象テーブルおよび外部テーブルに対する、ACIDトランザクション、タイムトラベル、スキーマ強制機能を備えたデフォルトのストレージ形式。
• • Apache Iceberg
  • Icebergエコシステムと統合するためのオープンテーブル形式で、高度なメタデータ管理をサポートします。

テーブル管理

テーブルの動作、構造、およびパフォーマンスを構成および最適化します。

• • テーブルの制約
  • データ品質ルールを定義し、null 制約ではなくチェック制約を使用して適用します。
• • スキーマ強制
  • 書き込み中に Databricks がスキーマの変更とデータ型の適用を処理する方法を制御します。
• • テーブルのパーティション分割
  • パーティションキーでデータを整理して、クエリのパフォーマンスを向上させ、データマネジメントを向上させます。
• • テーブルサイズモニタリング
  • テーブル ストレージの使用状況と増加パターンを監視および分析します。
• • 外部から管理への変換
  • 外部テーブルをマネージドテーブルに移行して、パフォーマンスと管理を向上させます。
• • 外部パーティションの検出
  • 自動的に検出して登録するパーティション in 外部テーブル クラウドストレージに格納されています。