Limitações de pipeline

A seguir, estão as limitações dos Lakeflow pipelines que são importantes de saber ao desenvolver seus pipelines:

Um workspace do Databricks é limitado a 1.000 atualizações de pipeline concorrentes. O número de datasets que um único pipeline pode conter é limitado a 1.000, mas uma atualização de pipeline pode ficar sem memória ou esgotar outros recursos antes de atingir esse limite. O limite útil é determinado pela configuração do pipeline e pela complexidade da carga de trabalho. Para ver os limites de recursos, consulte Limites de recursos.
A configuração de um pipeline inclui referências a arquivos e pastas de origem.
- Se a configuração fizer referência apenas a Notebooks ou arquivos individuais, o limite por pipeline é de 100 arquivos de origem.
- Se a configuração incluir pastas, você poderá incluir até 50 entradas de origem compostas por arquivos ou pastas.
  
  Referenciar uma pasta indiretamente referencia os arquivos dentro dessa pasta. Neste caso, o limite para o número de arquivos referenciados (direta ou indiretamente) é 1000.
Se precisar de mais de 100 arquivos de origem, organize-os em pastas. Para aprender como usar pastas para armazenar arquivos de origem, consulte o navegador de pipelines ativos no editor LakeFlow Pipelines .
Datasets de pipeline só podem ser definidos uma vez. Por causa disso, elas podem ser o alvo de apenas uma única operação em todos os pipelines. A exceção são as tabelas de transmissão com processamento de fluxo de acréscimo, o que permite gravar na tabela de transmissão a partir de múltiplas fontes de transmissão. Veja default flows e fluxos de acréscimo.
As colunas de identidade têm as seguintes limitações. Para saber mais sobre colunas de identidade em tabelas Delta, consulte Colunas de identidade.
- Colunas de identidade não são suportadas com tabelas que são o destino do processamento AUTO CDC .
- As colunas de identidade podem ser recalculadas durante atualizações em uma visão materializada. Por esse motivo, Databricks recomenda o uso de colunas de identidade em pipelines somente com tabelas de transmissão.
Por default, views materializadas e tabelas de transmissão podem ser acessadas apenas por clientes e aplicações Databricks. Para torná-los acessíveis a sistemas externos, consulte Acessar views materializadas e tabelas de transmissão usando sistemas externos.
Há limitações para o compute do Databricks necessário para executar e consultar o pipeline Unity Catalog . Consulte os Requisitos para pipelines que publicam no Unity Catalog.
As consultas de viagem do tempo Delta Lake são suportadas apenas com tabelas de transmissão e não são suportadas com visões materializadas. Consulte Trabalhar com a história da tabela.
A função pivot() não é suportada. As operações pivot no Spark exigem o carregamento antecipado de dados de entrada para compute o esquema de saída. Essa funcionalidade não é suportada no pipeline.
A identidade de execução (run-as) de um pipeline pode ser um grupo de contas, mas o grupo deve ser um grupo de contas atribuído ao workspace. Os grupos locais de workspace não podem ser usados como identidade de execução, nem os amplos grupos integrados admins, users e account users. Consulte Definir a identidade de execução como um grupo.

Para cotas de recurso do LakeFlow Pipelines, consulte Limites de recurso.