LakeFlow Limitações do pipeline declarativo
Veja a seguir as limitações do pipeline declarativo LakeFlow que é importante conhecer quando o senhor desenvolve o pipeline:
-
Um Databricks workspace está limitado a 100 atualizações concorrente pipeline. O número de conjuntos de dados que um único pipeline pode conter é determinado pela configuração do pipeline e pela complexidade da carga de trabalho.
-
LakeFlow O conjunto de dados do pipeline declarativo pode ser definido apenas uma vez. Por esse motivo, eles podem ser o alvo de apenas uma única operação em todo o pipeline do LakeFlow Declarative. A exceção são as tabelas de transmissão com processamento de fluxo de acréscimo, que permitem que o senhor grave na tabela de transmissão a partir de várias fontes de transmissão. Consulte Uso de vários fluxos para gravar em um único destino.
-
As colunas de identidade têm as seguintes limitações. Para saber mais sobre colunas de identidade em tabelas Delta, consulte Usar colunas de identidade no Delta Lake.
- As colunas de identidade não são compatíveis com tabelas que são o alvo do processamento AUTO CDC.
- As colunas de identidade podem ser recalculadas durante as atualizações de uma visualização materializada. Por esse motivo, o site Databricks recomenda o uso de colunas de identidade no pipeline LakeFlow Declarative somente com tabelas de transmissão.
-
A visualização materializada e as tabelas de transmissão publicadas a partir do pipeline declarativo LakeFlow, incluindo aquelas criadas por Databricks SQL, podem ser acessadas somente por clientes e aplicativos Databricks. No entanto, para tornar a visualização materializada e as tabelas de transmissão acessíveis externamente, o senhor pode usar o pipeline declarativo LakeFlow
sink
API para gravar em tabelas em uma instância externa Delta. Consulte Usar sinks para transmitir registros para serviços externos com o pipeline declarativo LakeFlow. -
O senhor não pode usar o site Delta Sharing para compartilhar a visualização materializada e as tabelas de transmissão criadas pelo pipeline declarativo LakeFlow.
-
Há limitações para o Databricks compute necessário para executar e consultar o pipeline Unity Catalog. Consulte os Requisitos para o pipeline que é publicado em Unity Catalog.
-
Delta Lake As consultas de viagem do tempo são compatíveis apenas com tabelas de transmissão e não são compatíveis com visualizações materializadas. Consulte Work with Delta Lake table história.
-
O senhor não pode ativar Iceberg leituras em em tabelas LakeFlow de exibição materializada e transmissão criadas pelo pipeline Declarative.
-
A função
pivot()
não é suportada. Aspivot
operações em Spark exigem o carregamento ansioso dos dados de entrada para compute o esquema de saída. Esse recurso não é compatível com o pipeline declarativo LakeFlow.