Limitações do conector Glean

info

Beta

Esse recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar o Lakeflow Connect para Glean na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Esta página contém informações sobre limitações conhecidas do conector Glean gerenciado no Lakeflow Connect.

Limitações gerais de conectores de software como serviço (SaaS)

As limitações nesta seção aplicam-se a todos os conectores SaaS no Lakeflow Connect.

• Quando você executa um pipeline agendado, os alertas não Trigger imediatamente. Em vez disso, eles fazem Trigger quando ocorre a execução da próxima atualização.
• Quando uma tabela de origem é excluída, a tabela de destino não é excluída automaticamente. Você deve excluir a tabela de destino manualmente. Esse comportamento não é consistente com o comportamento do Spark Declarative Pipelines no Lakeflow.
• Durante períodos de manutenção da fonte, o Databricks pode não conseguir acessar seus dados.
• Se um nome de tabela de origem entrar em conflito com um nome de tabela de destino existente, a atualização do pipeline falhará.
• O suporte a pipeline de vários destinos é apenas via API.
• Opcionalmente, você pode renomear uma tabela que você ingere. Se você renomear uma tabela em seu pipeline, ele se tornará um pipeline somente de API e você não poderá mais editar o pipeline na IU.
• Se você selecionar uma coluna após o início de um pipeline, o conector não preencherá automaticamente os dados da nova coluna. Para ingerir data histórica, execute manualmente um refresh completo na tabela.
• O Databricks não pode ingerir duas ou mais tabelas com o mesmo nome no mesmo pipeline, mesmo que venham de esquemas de origem diferentes.
• O sistema de origem pressupõe que as colunas de cursor são monotonicamente crescentes.
• O conector ingere dados brutos sem transformações. Use Spark Declarative Pipelines downstream em LakeFlow Pipelines para transformações.

Limitações específicas do conector

As limitações nesta seção aplicam-se ao conector Glean.

• O conector disponibiliza duas tabelas de origem, insights e shortcuts. Para detalhes, consulte Tabelas de origem suportadas.
• Ambas as tabelas são ingeridas como snapshots de refresh completo. Cada sincronização substitui a tabela de destino pelos dados mais recentes, portanto, o conector não retém snapshots históricos. Para manter o histórico diário, materialize a tabela de destino downstream conforme sua própria programação.
• A ingestão incremental não é compatível. Os endpoints insights e listshortcuts do Glean não expõem um cursor, portanto, cada sincronização lê o estado atual completo.
• O SCD Tipo 2 não é compatível. A tabela insights possui colunas VARIANT, e ambas as tabelas são ingeridas como snapshots de refresh completo.
• Uma única conexão utiliza um token de API, e esse token deve conter os escopos percepções e Shortcuts para ingerir ambas as tabelas.