Delta referência das propriedades da tabela
Delta Lake reserva propriedades de mesa Delta que começam com delta.. Essas propriedades podem ter significados específicos e afetar os comportamentos quando essas propriedades são definidas.
Todas as operações que definem ou atualizam as propriedades da tabela entram em conflito com outras operações de gravação concorrente, causando falhas. Databricks recomenda que o senhor modifique uma propriedade da tabela somente quando não houver operações de gravação concorrente na tabela.
Como as propriedades da tabela e as propriedades do SparkSession interagem?
As propriedades da tabela Delta são definidas por tabela. Se uma propriedade for definida em uma tabela, essa é a configuração que é seguida por default.
Algumas propriedades da tabela têm configurações SparkSession associadas que sempre têm precedência sobre as propriedades da tabela. Alguns exemplos incluem as configurações spark.databricks.delta.autoCompact.enabled e spark.databricks.delta.optimizeWrite.enabled, que ativam a compactação automática e as gravações otimizadas no nível do SparkSession em vez de no nível da tabela. A Databricks recomenda o uso de configurações com escopo de tabela para a maioria das cargas de trabalho.
Para cada propriedade da tabela Delta, o senhor pode definir um valor default para novas tabelas usando uma configuração SparkSession, substituindo a integrada default. Essa configuração afeta somente as novas tabelas e não substitui nem substitui as propriedades definidas nas tabelas existentes. O prefixo usado na SparkSession é diferente das configurações usadas nas propriedades da tabela, conforme mostrado na tabela a seguir:
Delta Lake conf | SparkSession conf |
|---|---|
|
|
Por exemplo, para definir a propriedade delta.appendOnly = true para todas as novas tabelas Delta Lake criadas em uma sessão, defina o seguinte:
SET spark.databricks.delta.properties.defaults.appendOnly = true
Para modificar as propriedades das tabelas existentes, use SET TBLPROPERTIES.
Delta propriedades da tabela
As propriedades disponíveis da tabela Delta incluem o seguinte: