S3 での Delta Lake の制限
Databricks の Delta Lake には、Amazon S3 にテーブルを格納する際の特定の考慮事項(バケットのバージョン管理、並列書き込み、直接ファイルの削除に伴うリスクなど)があります。
バケットのバージョニングと Delta Lake
Databricksは、Delta Lakeデータを保存するバケット(Unity Catalog マネージドテーブルを含む)についてはバケットのバージョン管理を無効にすることを推奨しています。Delta Lakeは独自のバージョン管理とガベージコレクションを実装しています。
バケットバージョン管理を有効にすると、S3はDatabricksの手動・自動処理が削除されたとみなすメタデータやデータファイルのコピーを保持します。これには、VACUUMが永続的に削除するデータファイル、および通常のDelta Lakeテーブル操作中に自動的にクリーンアップされるトランザクションログが含まれます。
バケットのバージョニングを使用する場合、Databricks では、3 つのバージョンを保持し、バージョニングが有効になっているすべての S3 バケットのバージョンを 7 日以内保持するライフサイクル管理ポリシーを実装することをお勧めします。
バケットに保存されたテーブルでバージョン管理が有効になった場合、Databricksサポートに連絡する際にバケットバージョン管理が有効であることを伝えてください。
S3 上の Delta Lake テーブルへの並列書き込み
Databricksは、Delta LakeトランザクションLogをS3にcommitするための書き込みメカニズムを自動的に選択します。書き込みメカニズムを手動で設定する必要はありません。
Databricksは、複数のクラスターとワークスペースからの並列書き込みをサポートしています。2026年6月9日より前に実行されていたクラシックコンピュートについては、同時に書き込む前にコンピュートを再起動してください。
カスタムライターと外部ライターは、アトミック S3 条件付き書き込み、あるいはすべてのライターと互換性のある同等の commit 機構を使用する必要があります。いずれかのライターにアトミック commit の調整機能がない場合、並列書き込みは安全ではありません。
非推奨
spark.databricks.delta.multiClusterWrites.enabledをfalseに設定することは非推奨であり、サポートされていません。この設定を構成したままにすると、操作がブロックされたり、並列書き込みが安全でなくなったりする可能性があります。
コンピュートSpark構成、コンピュートポリシー、ジョブ定義、ノートブックコード、および展開Templateからこの設定を削除してください。設定を削除した後、コンピュートを再起動してください。
ブロックされたマルチクラスター書き込み構成を解決する
コンピュート構成が非推奨の設定をオーバーライドすると、次のエラーが発生する可能性があります:
This operation has been blocked because spark.databricks.delta.multiClusterWrites.enabled=false was found to be overridden in this session. Using this configuration is unsafe for concurrent writes. Remove this override to access this table.
このエラーを解決するには:
- コンピュート設定、コンピュートポリシー、ジョブ定義、ノートブックコード、またはデプロイメントTemplateから
spark.databricks.delta.multiClusterWrites.enabledを削除します。 - コンピュートを再起動して操作を再試行します。
コンピュートを再起動しても操作がブロックされたままの場合は、Databricksサポートにお問い合わせください。
ブロックされたクロスクラウド書き込みの解決
Databricksは、書き込みでトランザクションの保証ができない場合、AWS外部のコンピュートからS3への書き込みをブロックします。
クロスクラウド書き込みがブロックされる場合は、AWS コンピュートでワークロードを実行するか、Databricks サポートにお問い合わせください。
ファイルを削除した後の古いデータ rm -rf
Delta Lake テーブルを削除するには、rm -rfを使用しないでください。テーブルの削除または置換を参照してください。