Controlar o tamanho do arquivo de dados
As recomendações de ajuste manual neste artigo não se aplicam a tabelas gerenciadas pelo Unity Catalog, que utilizam o ajuste automático do tamanho do arquivo. Para novas tabelas, use tabelas gerenciadas do Unity Catalog com configurações padrão.
No Databricks Runtime 13.3 e acima, o Databricks recomenda o uso clusters para disposição da tabela. Consulte Usar clustering líquido para tabelas.
O Databricks recomenda o uso da otimização preditiva para executar automaticamente OPTIMIZE e VACUUM em tabelas. Consulte Otimização preditiva para tabelas gerenciadas do Unity Catalog.
Em Databricks Runtime 10.4 LTS e acima, a compactação automática e as gravações otimizadas estão sempre habilitadas para operações MERGE, UPDATE e DELETE. Não é possível desativar esta funcionalidade.
Há opções para configurar manual ou automaticamente o tamanho do arquivo de destino para gravações e para operações de OPTIMIZE. O Databricks ajusta automaticamente muitas dessas configurações e habilita recursos que melhoram automaticamente o desempenho da tabela buscando arquivos do tamanho correto.
Para tabelas gerenciadas pelo Unity Catalog, o Databricks ajusta a maioria dessas configurações automaticamente se você estiver usando um SQL warehouse ou Databricks Runtime 11.3 LTS ou acima.
Se você estiver atualizando uma carga de trabalho do Databricks Runtime 10.4 LTS ou abaixo, consulte Atualizar para compactação automática em segundo plano.
Quando executar OPTIMIZE
Compactação automática e gravações otimizadas reduzem problemas de arquivos pequenos, mas não são uma substituição total para OPTIMIZE. Especialmente para tabelas maiores que 1 TB, o Databricks recomenda executar OPTIMIZE em um agendamento para consolidar ainda mais os arquivos. A Databricks recomenda o clustering líquido para um salto de dados aprimorado. Com o clustering líquido ativado, OPTIMIZE reorganiza os dados automaticamente pelas chaves de cluster. Consulte Usar clustering líquido para tabelas.
Para tabelas gerenciadas do Unity Catalog, a otimização preditiva executa automaticamente OPTIMIZE em tabelas com otimização preditiva habilitada.
O que é otimização automática no Databricks?
O termo otimização automática às vezes é usado para descrever a funcionalidade controlada pelas configurações autoOptimize.autoCompact e autoOptimize.optimizeWrite. Este termo foi retirado em favor da descrição individual de cada configuração. Consulte Compactação automática e gravações otimizadas.
Compactação automática
A compactação automática combina arquivos pequenos nas partições da tabela para reduzir os problemas com arquivos pequenos. É executada de forma síncrona no cluster que realiza a gravação, após a gravação ser bem-sucedida, e compacta apenas arquivos que não foram compactados anteriormente.
A compactação automática e a otimização preditiva são recursos independentes que podem ser usados separadamente ou em conjunto. A compactação automática é executada no cluster que realiza a gravação, enquanto a otimização preditiva executa operações de manutenção assincronamente usando compute serverless.
Use as seguintes configurações para configurar a compactação automática:
Contexto | Delta | Iceberg | Descrição |
|---|---|---|---|
Habilitar compactação automática (propriedade da tabela) |
|
| Habilita a compactação automática no nível da tabela. |
Habilitar compactação automática (sessão Spark) |
|
| Ativa a compactação automática no nível da sessão. |
Tamanho máximo do arquivo de saída |
|
| Controle do tamanho do arquivo de saída de destino. |
Número mínimo de arquivos para acionar a compactação |
|
| Define o número mínimo de arquivos menores necessários em uma partição ou tabela para acionar a compactação automática. |
Estas configurações aceitam as seguintes opções:
Opções | Comportamento |
|---|---|
| Ajusta o tamanho do arquivo de destino enquanto respeita outras funcionalidades de ajuste automático. Requer Databricks Runtime 10.4 LTS ou acima. |
| Pseudônimo para |
| Use 128 MB como o tamanho do arquivo de destino. Sem dimensionamento dinâmico. |
| Desativa a compactação automática. Pode ser configurado na sessão para substituir a compactação automática para todas as tabelas modificadas na carga de trabalho. |
A Databricks recomenda o uso do ajuste automático para controlar o tamanho do arquivo de saída com base no tamanho da tabela. Consulte Ajuste automático do tamanho do arquivo com base no tamanho da tabela.
Gravações otimizadas
As gravações otimizadas melhoram o tamanho do arquivo à medida que os dados são gravados e beneficiam as leituras subsequentes na tabela.
As gravações otimizadas são mais eficazes para tabelas particionadas, pois reduzem o número de pequenos arquivos gravados em cada partição. A gravação de menos arquivos grandes é mais eficiente do que gravar muitos arquivos pequenos, mas ainda pode haver um aumento na latência de gravação devido ao rearranjo dos dados antes da gravação.
A imagem a seguir mostra como as gravações otimizadas funcionam:
É possível ter um código que execute coalesce(n) ou repartition(n) imediatamente antes de gravar os dados para controlar o número de arquivos gravados. Gravações otimizadas eliminam a necessidade de usar este padrão.
As gravações otimizadas são habilitadas por padrão para as seguintes operações no Databricks Runtime 9.1 LTS e versões superiores:
MERGEUPDATEcom subconsultasDELETEcom subconsultas
Gravações otimizadas também são habilitadas para CTAS instruções e INSERT operações ao usar SQL warehouses. No Databricks Runtime 13.3 LTS e acima, todas as tabelas registradas no Unity Catalog têm gravações otimizadas habilitadas para instruções CTAS e operações INSERT para tabelas particionadas.
As gravações otimizadas podem ser habilitadas no nível da tabela ou da sessão usando as seguintes configurações:
- Propriedade da tabela:
autoOptimize.optimizeWrite - Configuração do SparkSession:
spark.databricks.delta.optimizeWrite.enabled(Delta) ouspark.databricks.iceberg.optimizeWrite.enabled(Iceberg)
Estas configurações aceitam as seguintes opções:
Opções | Comportamento |
|---|---|
| Use 128 MB como o tamanho do arquivo de destino. |
| Desativa as gravações otimizadas. Pode ser configurado na sessão para substituir a compactação automática para todas as tabelas modificadas na carga de trabalho. |
Definir um tamanho de arquivo de destino
Se você quiser ajustar o tamanho dos arquivos na sua tabela, defina a propriedade da tabela targetFileSize para o tamanho desejado. Quando definida, todas as operações de otimização de disposição de dados farão uma tentativa de melhor esforço para gerar arquivos do tamanho especificado, incluindo otimização,clustering líquido, compactação automática e gravações otimizadas.
Ao usar tabelas gerenciadas do Unity Catalog e SQL warehouses ou Databricks Runtime 11.3 LTS e versões superiores, somente OPTIMIZE os comandos respeitam a configuração. targetFileSize
Propriedade | Descrição |
|---|---|
| Tipo : tamanho em bytes ou unidades superiores. Descrição : O tamanho do arquivo de destino. Por exemplo, Valor padrão : Nenhum |
Para tabelas existentes, você pode definir e cancelar a definição de propriedades usando o comando SQL ALTER TABLE SET TBL PROPERTIES. Você também pode definir essas propriedades automaticamente ao criar novas tabelas usando as configurações de sessão do Spark. Consulte a referência de propriedades da tabela para detalhes.
Ajuste automático do tamanho do arquivo com base no tamanho da tabela
Para minimizar a necessidade de ajuste manual, o Databricks ajusta automaticamente o tamanho do arquivo das tabelas com base no tamanho da tabela. O Databricks usa tamanhos de arquivo menores para tabelas menores e tamanhos de arquivo maiores para tabelas maiores, para que o número de arquivos na tabela não aumente muito. O Databricks não ajusta automaticamente tabelas que você ajustou com um tamanho de destino específico.
O tamanho do arquivo de destino é baseado no tamanho atual da tabela. Para tabelas menores que 2,56 TB, o tamanho do arquivo de destino ajustado automaticamente é de 256 MB. Para tabelas com um tamanho entre 2,56 TB e 10 TB, o tamanho de destino aumentará linearmente de 256 MB para 1 GB. Para tabelas maiores que 10 TB, o tamanho do arquivo de destino é 1 GB.
Quando o tamanho do arquivo de destino em uma tabela aumenta, os arquivos existentes não são otimizados novamente em arquivos maiores pelo comando OPTIMIZE. Uma tabela grande pode, portanto, sempre ter alguns arquivos menores que o tamanho de destino. Se também for necessário otimizar esses arquivos menores em arquivos maiores, você pode configurar um tamanho de arquivo de destino fixo para a tabela usando a propriedade targetFileSize.
Quando uma tabela é gravada de forma incremental, os tamanhos e contagens de arquivos de destino estarão próximos aos seguintes números, com base no tamanho da tabela. As contagens de arquivos nesta tabela são apenas um exemplo. Os resultados reais serão diferentes dependendo de muitos fatores.
Tamanho da tabela | Tamanho do arquivo de destino | Número aproximado de arquivos na tabela |
|---|---|---|
10 GB | 256 MB | 40 |
1 TB | 256 MB | 4096 |
2,56 TB | 256 MB | 10240 |
3 TB | 307 MB | 12108 |
5 TB | 512 MB | 17339 |
7 TB | 716 MB | 20784 |
10 TB | 1 GB | 24437 |
20 TB | 1 GB | 34437 |
50 TB | 1 GB | 64437 |
100 TB | 1 GB | 114437 |
Limitar linhas gravadas em um arquivo de dados
Ocasionalmente, tabelas com dados estreitos podem apresentar um erro em que o número de linhas em um determinado arquivo de dados excede os limites de suporte do formato Parquet. Para evitar este erro, você pode usar a configuração de sessão SQL spark.sql.files.maxRecordsPerFile para especificar o número máximo de registros a serem gravados em um único arquivo para uma tabela. Especificar um valor zero ou um valor negativo representa nenhum limite.
No Databricks Runtime 11.3 LTS e acima, você também pode usar a opção DataFrameWriter maxRecordsPerFile ao usar as APIs do DataFrame para gravar em uma tabela. Quando maxRecordsPerFile é especificado, o valor de configuração spark.sql.files.maxRecordsPerFile da sessão SQL é ignorado.
O Databricks não recomenda o uso dessa opção, a menos que seja necessário evitar o erro mencionado acima. Essa configuração ainda pode ser necessária para algumas tabelas gerenciadas pelo Unity Catalog com dados muito restritos.
Atualização para compactação automática em segundo plano
A compactação automática em segundo plano está disponível para tabelas gerenciadas do Unity Catalog no Databricks Runtime 11.3 LTS e superior. A compactação automática em segundo plano não requer otimização preditiva. Ao migrar uma carga de trabalho ou tabela legada, execute o seguinte:
- Remova a configuração do Spark
spark.databricks.delta.autoCompact.enabled(Delta) ouspark.databricks.iceberg.autoCompact.enabled(Iceberg) das configurações de cluster ou notebook. - Para cada tabela, execute
ALTER TABLE <table_name> UNSET TBLPROPERTIES (delta.autoOptimize.autoCompact)(Delta) ouALTER TABLE <table_name> UNSET TBLPROPERTIES (iceberg.autoOptimize.autoCompact)(Iceberg) para remover quaisquer configurações de compactação automática herdadas.
Após remover essas configurações legadas, a compactação automática em segundo plano deverá ser acionada automaticamente para todas as tabelas gerenciadas do Unity Catalog.