メインコンテンツまでスキップ

S3 での Delta Lake の制限

Databricks の Delta Lake には、Amazon S3 にテーブルを格納する際の特定の考慮事項(バケットのバージョン管理、並列書き込み、直接ファイルの削除に伴うリスクなど)があります。

バケットのバージョニングと Delta Lake​

Databricksは、Delta Lakeデータを保存するバケット(Unity Catalog マネージドテーブルを含む)についてはバケットのバージョン管理を無効にすることを推奨しています。Delta Lakeは独自のバージョン管理とガベージコレクションを実装しています。

バケットバージョン管理を有効にすると、S3はDatabricksの手動・自動処理が削除されたとみなすメタデータやデータファイルのコピーを保持します。これには、VACUUMが永続的に削除するデータファイル、および通常のDelta Lakeテーブル操作中に自動的にクリーンアップされるトランザクションログが含まれます。

重要

バケットのバージョニングを使用する場合、Databricks では、3 つのバージョンを保持し、バージョニングが有効になっているすべての S3 バケットのバージョンを 7 日以内保持するライフサイクル管理ポリシーを実装することをお勧めします。

バケットに保存されたテーブルでバージョン管理が有効になった場合、Databricksサポートに連絡する際にバケットバージョン管理が有効であることを伝えてください。

S3 上の Delta Lake テーブルへの並列書き込み​

Databricksは、Delta LakeトランザクションLogをS3にcommitするための書き込みメカニズムを自動的に選択します。書き込みメカニズムを手動で設定する必要はありません。

Databricksは、複数のクラスターとワークスペースからの並列書き込みをサポートしています。2026年6月9日より前に実行されていたクラシックコンピュートについては、同時に書き込む前にコンピュートを再起動してください。

カスタムライターと外部ライターは、アトミック S3 条件付き書き込み、あるいはすべてのライターと互換性のある同等の commit 機構を使用する必要があります。いずれかのライターにアトミック commit の調整機能がない場合、並列書き込みは安全ではありません。

警告

非推奨

spark.databricks.delta.multiClusterWrites.enabledをfalseに設定することは非推奨であり、サポートされていません。この設定を構成したままにすると、操作がブロックされたり、並列書き込みが安全でなくなったりする可能性があります。

コンピュートSpark構成、コンピュートポリシー、ジョブ定義、ノートブックコード、および展開Templateからこの設定を削除してください。設定を削除した後、コンピュートを再起動してください。

ブロックされたマルチクラスター書き込み構成を解決する​

コンピュート構成が非推奨の設定をオーバーライドすると、次のエラーが発生する可能性があります:

Text
This operation has been blocked because spark.databricks.delta.multiClusterWrites.enabled=false was found to be overridden in this session. Using this configuration is unsafe for concurrent writes. Remove this override to access this table.

このエラーを解決するには:

  1. コンピュート設定、コンピュートポリシー、ジョブ定義、ノートブックコード、またはデプロイメントTemplateからspark.databricks.delta.multiClusterWrites.enabledを削除します。
  2. コンピュートを再起動して操作を再試行します。

コンピュートを再起動しても操作がブロックされたままの場合は、Databricksサポートにお問い合わせください。

ブロックされたクロスクラウド書き込みの解決​

Databricksは、書き込みでトランザクションの保証ができない場合、AWS外部のコンピュートからS3への書き込みをブロックします。

クロスクラウド書き込みがブロックされる場合は、AWS コンピュートでワークロードを実行するか、Databricks サポートにお問い合わせください。

ファイルを削除した後の古いデータ rm -rf​

Delta Lake テーブルを削除するには、rm -rfを使用しないでください。テーブルの削除または置換を参照してください。