メインコンテンツまでスキップ
に最終更新

Apache Iceberg v3の機能を使用する

Apache Iceberg v3 は、Unity Catalog で UniForm を使用する Iceberg または Delta Lake を使用したマネージドテーブルのクエリパフォーマンスを向上させ、新しい機能を導入します。

Iceberg v3 の主な機能は次のとおりです。

要件​

Iceberg v3 の機能を使用するには、次の要件を満たす必要があります。

  • Unity Catalog が有効になっているワークスペース。
  • Iceberg v3 でマネージドテーブルの読み取りおよび書き込みを行うには、Databricks Runtime 18.0 以降が必要です。
  • Iceberg v3 で geospatial types を使用するには、Databricks Runtime 18.2 以降が必要です。

Iceberg v3で新しいテーブルを作成する​

UniForm を使用したマネージド Delta Lake テーブルとマネージド Iceberg テーブルの両方に対して、Iceberg v3 を有効にした新しいテーブルを作成します。

UniForm と Iceberg v3 が有効になっている Delta Lake を使用して新しいマネージドテーブルを作成するには、次の SQL コマンドを使用します。

SQL
CREATE OR REPLACE TABLE main.schema.table (c1 INT) TBLPROPERTIES(
  'delta.universalFormat.enabledFormats' = 'iceberg',
  'delta.enableIcebergCompatV3' = 'true'
);

UniForm の情報については、UniFormを使用してIcebergクライアントでDelta Lakeテーブルを読み取るを参照してください。

既存のテーブルを Iceberg v3 にアップグレードする​

既存のテーブルを Iceberg v3 にアップグレードするには、次の操作を行います。

  1. テーブル上の任意の v3 機能を有効にします。
  2. テーブルの Iceberg 形式のバージョンを 3 に設定します (以下に表示)。
備考

テーブルは、 RESTOREを使用してテーブルを v3 へのアップグレード前のテーブル バージョンに復元することにより、v3 から v2 にダウングレードできます。テーブルを以前のバージョンにダウングレードする方法を参照してください。

Delta Lake with UniFormを使ってマネージドテーブルをv3にアップグレードするには、以下のコマンドを使用します:

SQL
ALTER TABLE catalog.schema.table SET TBLPROPERTIES(
  'delta.enableIcebergCompatV3' = 'true',
  'delta.enableIcebergCompatV2' = 'false'
);

削除ベクトルを有効にする​

削除ベクトルは行レベルのデータ変更操作を最適化し、すべての新しい Iceberg v3 テーブルでデフォルトで有効になっています。Databricks の削除ベクトルを参照してください。

注記

既存の Iceberg テーブルで削除ベクトルを有効にすると、Iceberg 形式のバージョンが 3 にアップグレードされます。

UniForm、Iceberg v3、および削除ベクトルを有効にした Delta Lake を使用して新しいマネージドテーブルを作成するには、次のテーブルプロパティを設定します。

SQL
CREATE TABLE catalog.schema.table (c1 INT) TBLPROPERTIES(
  'delta.enableDeletionVectors' = 'true',
  'delta.enableIcebergCompatV3' = 'true',
  'delta.universalFormat.enabledFormats' = 'iceberg'
);

VARIANTデータ型を使用する​

VARIANT データ型を使用すると、半構造化データを保存およびクエリできます。

注記

既存の Iceberg テーブルで VARIANT を使用すると、Iceberg 形式のバージョンが 3 にアップグレードされます。

Delta LakeとUniForm、VARIANT列を使って新しいマネージドテーブルを作成するには:

SQL
CREATE TABLE catalog.schema.deltaTable (col VARIANT) TBLPROPERTIES(
  'delta.enableIcebergCompatV3' = 'true',
  'delta.universalFormat.enabledFormats' = 'iceberg'
);

既存のテーブルに VARIANT 列を追加するには、 ALTER TABLEコマンドを使用します。

SQL
ALTER TABLE catalog.schema.table ADD COLUMN variant_col VARIANT;

テーブルを以前のApache Icebergバージョンにダウングレードする​

テーブルを Iceberg v3 にアップグレードする前の状態に戻す必要がある場合は、 RESTOREコマンドを使用できます。

SQL
set spark.databricks.delta.restore.protocolDowngradeAllowed = true;
RESTORE TABLE catalog.schema.table TO VERSION AS OF 1;
set spark.databricks.delta.restore.protocolDowngradeAllowed = false;

制限事項​

Databricks は、次の例外を除いて、Iceberg 仕様のバージョン 3 をサポートしています。

  • defaultsおよびinitial defaultsを含む、defaultsはサポートされていません。

  • 次のデータ型はサポートされていません。

    • 不明なタイプ
    • ナノ秒精度のタイムスタンプ。

  • 複数引数の変換はサポートされていません。

このページの見出し