imposição de esquema
A Databricks valida a qualidade dos dados impondo o esquema na gravação.
Este artigo descreve o comportamento de default para tabelas em Databricks, que são apoiadas por Delta Lake. A imposição de esquema não se aplica a tabelas apoiadas por dados externos.
imposição de esquema para operações de inserção
O Databricks aplica as seguintes regras ao inserir dados em uma tabela:
- Todas as colunas inseridas devem existir na tabela de destino.
- Todos os tipos de dados da coluna devem corresponder aos tipos de dados da coluna na tabela de destino.
O Databricks tenta converter com segurança os tipos de dados da coluna para que correspondam à tabela de destino.
Validação de esquema durante as operações do site MERGE
Databricks aplica as seguintes regras ao inserir ou atualizar dados como parte de uma operação MERGE:
- Se o tipo de dados na instrução de origem não corresponder à coluna de destino, o site
MERGEtentará converter com segurança os tipos de dados da coluna para que correspondam à tabela de destino. - As colunas que são o destino de uma ação
UPDATEouINSERTdevem existir na tabela de destino. - Ao usar a sintaxe
INSERT *ouUPDATE SET *:- As colunas na fonte dataset que não estão presentes na tabela de destino são ignoradas.
- A fonte dataset deve ter todas as colunas presentes na tabela de destino.
Modificar um esquema de tabela
Você pode atualizar o esquema de uma tabela usando instruções explícitas ALTER TABLE ou evolução automática do esquema. Consulte Atualizar esquema da tabela.
A evolução do esquema tem semântica especial para operações MERGE . Veja Evolução automática do esquema para merge.