Limitações do pipeline declarativoLakeFlow

A seguir estão as limitações do pipeline declarativo LakeFlow que são importantes saber ao desenvolver seu pipeline:

Um workspace Databricks é limitado a 200 atualizações pipeline concorrentes. O número de conjuntos de dados que um único pipeline pode conter é determinado pela configuração pipeline e pela complexidade da carga de trabalho.
O conjunto de dados do pipeline declarativo LakeFlow pode ser definido apenas uma vez. Por isso, eles podem ser alvo de apenas uma única operação em todo o pipeline Declarativo LakeFlow . A exceção são as tabelas de transmissão com processamento de fluxo de acréscimo, que permite gravar na tabela de transmissão a partir de várias fontes de transmissão. Consulte Usando vários fluxos para gravar em um único destino.
As colunas de identidade têm as seguintes limitações. Para saber mais sobre colunas de identidade em tabelas Delta, consulte Usar colunas de identidade no Delta Lake.
- Colunas de identidade não são suportadas com tabelas que são o destino do processamento AUTO CDC .
- Colunas de identidade podem ser recalculadas durante atualizações em uma visualização materializada. Por isso, Databricks recomenda usar colunas de identidade no pipeline declarativo LakeFlow somente com tabelas de transmissão.
As tabelas de visualização materializada e transmissão publicadas do pipeline declarativo LakeFlow , incluindo aquelas criadas pelo Databricks SQL, podem ser acessadas somente por clientes e aplicativos Databricks . No entanto, para tornar suas tabelas de visualização materializada e transmissão acessíveis externamente, você pode usar a API do pipeline declarativo LakeFlow sink para gravar em tabelas em uma instância Delta externa. Consulte Usar coletores para transmissão de registros para serviço externo com pipeline declarativo LakeFlow.
Há limitações para o compute do Databricks necessário para executar e consultar o pipeline Unity Catalog . Consulte os Requisitos para pipelines que publicam no Unity Catalog.
As consultas de viagem do tempo Delta Lake são suportadas apenas com tabelas de transmissão e não são suportadas com visualizações materializadas. Veja a história da tabela Trabalhar com Delta Lake.
Não é possível habilitar leiturasIceberg em visualizações materializadas e tabelas de transmissão criadas pelo pipeline declarativo LakeFlow .
A função pivot() não é suportada. As operações pivot no Spark exigem o carregamento rápido de dados de entrada para compute o esquema de saída. Esse recurso não é suportado no pipeline declarativo LakeFlow .