Limitações do Delta Lake no S3
O Delta Lake no Databricks tem considerações específicas ao armazenar tabelas no Amazon S3, incluindo versionamento de bucket, gravações concorrentes e riscos de excluir arquivos diretamente.
Controle de versão de bucket e Delta Lake
A Databricks recomenda que você não ative o versionamento de buckets para buckets que armazenam dados do Delta Lake, incluindo tabelas gerenciadas pelo Unity Catalog. O Delta Lake implementa seu próprio sistema de versionamento e coleta de lixo.
Ao ativar o versionamento de buckets, o S3 retém cópias de metadados e arquivos de dados que os processos manuais e automatizados do Databricks consideram excluídos. Isso inclui arquivos de dados que VACUUM excluiria permanentemente e logs de transação limpos automaticamente durante as operações regulares da tabela Delta Lake.
Se o senhor optar por usar o controle de versão do bucket, a Databricks recomenda manter três versões e implementar uma política de gerenciamento de ciclo de vida que mantenha as versões por 7 dias ou menos para todos os buckets S3 com o controle de versão ativado.
Se você notar lentidão no desempenho de tabelas armazenadas em buckets com versionamento ativado, mencione que o versionamento de buckets está ativado ao entrar em contato com o suporte do Databricks.
Gravações concorrentes em tabelas Delta Lake no S3
O Databricks seleciona automaticamente o mecanismo de gravação para commit de logs de transações do Delta Lake no S3. Você não precisa configurar o mecanismo de escrita.
O Databricks oferece suporte a escritas concorrentes de vários clusters e workspaces. Para o compute clássico que está em execução desde antes de 9 de junho de 2026, reinicie o compute antes de gravar concorrentemente.
Escritores personalizados e externos devem usar escritas condicionais S3 atômicas ou um mecanismo de commit equivalente compatível com todos os escritores. Escritas concorrentes não são seguras se qualquer escritor não tiver coordenação de commit atômico.
Descontinuado
Definir spark.databricks.delta.multiClusterWrites.enabled como false está obsoleto e não é suportado. Deixar essa configuração definida pode bloquear operações ou tornar as gravações concorrentes inseguras.
Remova essa configuração das configurações de compute Spark, políticas de compute, definições de job, código de notebook e padrões de implantação. Reinicie o compute depois de remover a configuração.
Resolver uma configuração de escritas multi-cluster bloqueadas
Você pode receber o seguinte erro quando uma configuração de compute substituir a configuração obsoleta:
This operation has been blocked because spark.databricks.delta.multiClusterWrites.enabled=false was found to be overridden in this session. Using this configuration is unsafe for concurrent writes. Remove this override to access this table.
Para resolver este erro:
- Remova
spark.databricks.delta.multiClusterWrites.enabledda configuração do compute, da política do compute, da definição do Job, do código do notebook ou do padrão de implantação. - Reinicie o compute e tente novamente a operação.
Se a operação permanecer bloqueada após a reinicialização do compute, entre em contato com o suporte do Databricks.
Resolver uma gravação entre cloud bloqueada
O Databricks bloqueia gravações no S3 a partir do compute fora da AWS quando a gravação não consegue fornecer garantias transacionais.
Se uma gravação cross-cloud estiver bloqueada, execução a carga de trabalho no compute da AWS ou contate o suporte do Databricks.
Dados obsoletos após a exclusão de arquivos com rm -rf
Não use rm -rf para excluir uma tabela do Delta Lake. Consulte Soltar ou substituir uma tabela.