Delta Lake の照合のサポート

Databricks Runtime 16.1 以降の Delta テーブルの文字列フィールドの照合順序を指定できます。

テーブルの照合を有効にすると、 collations-preview ライターテーブル機能が追加されます。 Databricks Runtime 15.4 以降では、照合順序が有効になっているテーブルを読み取ることができます。「Databricks で Delta Lake 機能の互換性を管理する方法」を参照してください。

注：

デフォルトでは、Delta Lake は文字列フィールドの照合順序を UTF8_BINARYに設定します。

列レベルで照合順序を持つテーブルを作成する

次のコマンドを使用して、列レベルで照合順序を持つ新しいテーブルを作成できます。

CREATE TABLE $tableName (
 nonCollatedColName STRING,
 collatedColName STRING COLLATE UNICODE,
 structColName STRUCT<nestedFieldName: STRING COLLATE UNICODE>,
 mapColName MAP<STRING, STRING COLLATE UNICODE>,
 arrayColName ARRAY<STRING COLLATE UNICODE>
) USING delta

照合順序を指定するためのテーブル列の変更

次のコマンドを使用して、照合を使用するように既存の列を更新できます。

ALTER TABLE tableName ALTER COLUMN columnName TYPE newType

デフォルト以外の照合順序を削除するには (存在する場合):

ALTER TABLE tableName ALTER COLUMN columnName TYPE STRING COLLATE UTF8_BINARY

列の照合順序を utf8_lcaseに変更するには:

ALTER TABLE tableName ALTER COLUMN columnName TYPE STRING COLLATE UTF8_LCASE

テーブルの照合を変更しても、以前に書き込まれたデータの統計やデータ・レイアウトは自動的に更新されません。新しい照合順序でヒストリカルデータをスキップするファイルを改善するために、 Databricks では次のことをお勧めします。

ANALYZE table_name COMPUTE DELTA STATISTICSを実行して、既存のデータファイルの統計をスキップしてファイルを更新します。
リキッドクラスタリングが有効になっているテーブルの場合は、 OPTIMIZE FULL table_name を実行してリキッドクラスタリングを更新します。
ZORDERを使用するテーブルの場合は、次の操作を行います。
- Sparkセッションの増分最適化を無効にするには、次のコマンドでデフォルトのSpark設定をオーバーライドします。
```
SET spark.databricks.optimize.incremental=false
```
- OPTIMIZE table_name ZORDER BY zorder_columnを実行して、既存のすべてのデータファイルを書き換えます。

照合順序は、クエリの結果で Databricks によって常に尊重されます。

テーブルの照合を無効にする

照合機能を削除する前に、テーブル内の各文字列列の照合を明示的に無効にする必要があります。

次の構文を使用して、列の照合順序を UTF8_BINARYに設定します。

ALTER TABLE table_name
ALTER COLUMN column_name
TYPE STRING
COLLATE UTF8_BINARY

テーブル機能を削除するには、次のコマンドを実行します。

ALTER TABLE table_name
DROP FEATURE collations-preview

「Deltaテーブル機能の削除」を参照してください。

スキーマの進化と照合順序

照合は、次のルールを使用してスキーマ進化と対話します。

ソース列がターゲット・テーブルに既に存在する場合、ターゲット・テーブルの列の照合順序は変更されません。
ソース列に照合順序が指定されている場合、ターゲット表に追加される列は指定された照合順序を使用します。
照合順序のある列が追加されたときに、ターゲットテーブルで照合が有効になっていない場合、 collations-preview テーブル機能は有効になります。

制限事項

照合が有効になっているテーブルには、次の制限があります。

Databricks Runtime によって認識されない照合順序を使用して外部で作成された Delta テーブルは、クエリ時に例外をスローします。
Delta Sharing はサポートされていません。
照合された列は、 CHECK 制約では使用できません。
生成された列では照合を使用できません。
照合された列は、ブルーム・フィルター・インデックス列では使用できません。
OSS Delta Lake APIs for Scala または Pythonでは照合はサポートされていません。照合を有効にするには、 Spark SQL または DataFrame APIs を使用する必要があります。
動的パーティション上書きは、照合された列ではサポートされていません。
照合された列は、構造化ストリーミングのステートフルクエリでは参照できません。
collations-preview テーブル機能を尊重しない外部リーダーは、デフォルトの照合順序である UTF8_BINARYにフォールバックします。
MAPは、照合された文字列であるキーを持つことはできません。
UniForm は照合では機能しません。