Delta Live Tables Limitações

Veja a seguir as limitações do site Delta Live Tables que é importante conhecer ao desenvolver seu pipeline:

• Um workspace do Databricks é limitado a 100 atualizações de pipeline simultâneas.

• Delta Live Tables pode ser definido apenas uma vez. Por esse motivo, eles podem ser alvo de apenas uma única operação em todo o pipeline Delta Live Tables. A exceção são as tabelas de transmissão com processamento de fluxo de acréscimo, que permitem que o senhor grave na tabela de transmissão a partir de várias fontes de transmissão. Consulte Usar fluxo append para gravar em uma tabela de transmissão a partir de várias fontes de transmissão.

• As colunas de identidade têm as seguintes limitações. Para saber mais sobre colunas de identidade em tabelas Delta, consulte Usar colunas de identidade no Delta Lake.

  • As colunas de identidade não são suportadas com tabelas que são o destino do processamento APPLY CHANGES.

  • As colunas de identidade podem ser recalculadas durante as atualizações de uma visualização materializada. Por esse motivo, o site Databricks recomenda o uso de colunas de identidade em Delta Live Tables somente com tabelas de transmissão.

• O site pipeline pode definir a visualização materializada e as tabelas de transmissão em apenas um único catálogo e esquema.

• O conjunto de dados criado em um Delta Live Tables pipeline é gravado somente em Delta Lake. O senhor não pode enviar dados de um pipeline para sumidouros que não sejam do Delta Lake.

• A visualização materializada e as tabelas de transmissão criadas por um Delta Live Tables pipeline podem ser acessadas somente por interfaces Databricks.

• O senhor não pode usar Delta Sharing para compartilhar a visualização materializada e as tabelas de transmissão criadas por um Delta Live Tables pipeline.

• Há limitações para o Databricks compute necessário para executar e consultar o pipeline Unity Catalog. Consulte os Requisitos para o pipeline que é publicado em Unity Catalog.

• Somente o proprietário do pipeline pode acessar o evento log para um pipeline. Consulte Consulta ao registro de eventos.

• Delta Lake As consultas de viagem do tempo são compatíveis apenas com tabelas de transmissão e não são compatíveis com visualizações materializadas. Consulte Work with Delta Lake table história.

• O senhor não pode ativar as leituras doIceberg em tabelas de exibição materializada e transmissão criadas pelo pipeline Delta Live Tables.

• As tags de tabela e coluna não são compatíveis com a exibição materializada e as tabelas de transmissão.