Limitações do conector Celigo

info

Beta

Este recurso está em Beta. Os administradores do Workspace podem controlar o acesso a esse recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Esta página contém informação sobre limitações conhecidas do conector gerenciado Celigo no Lakeflow Connect.

Limitações gerais do conector de software como serviço (SaaS)

As limitações nesta seção aplicam-se a todos os conectores SaaS no Lakeflow Connect.

• Quando você executa um pipeline agendado, os alertas não Trigger imediatamente. Em vez disso, eles fazem Trigger quando ocorre a execução da próxima atualização.
• Quando uma tabela de origem é excluída, a tabela de destino não é excluída automaticamente. Você deve excluir a tabela de destino manualmente. Esse comportamento não é consistente com o comportamento do Spark Declarative Pipelines no Lakeflow.
• Durante os períodos de manutenção da origem, o Databricks pode não conseguir acessar seus dados.
• If a source table name conflicts with an existing destination table name, the pipeline update fails.
• O suporte a pipeline de vários destinos é apenas por API.
• You can optionally rename a table that you ingest. If you rename a table in your pipeline, it becomes an API-only pipeline, and you can no longer edit the pipeline in the UI.
• Se você selecionar uma coluna depois que um pipeline já tiver começado, o conector não preencherá automaticamente os dados da nova coluna. Para ingerir data histórica, execute manualmente um refresh completo na tabela.
• O Databricks não pode ingerir duas ou mais tabelas com o mesmo nome no mesmo pipeline, mesmo que venham de esquemas de origem diferentes.
• O sistema de origem pressupõe que as colunas de cursor sejam monotonicamente crescentes.
• O conector ingere dados brutos sem transformações. Use Spark Declarative Pipelines downstream em LakeFlow Pipelines para transformações.

Limitações específicas do conector

As limitações nesta seção aplicam-se ao conector Celigo.

• O conector ingere a tabela audit_logs.
• Cada conexão tem como alvo uma região de dados. Para fazer a ingestão dos endpoints global (us) e da UE (eu), crie uma conexão separada para cada região.