Limitações do conector Cribl

info

Beta

Esse recurso está em Beta. Para usá-lo, um administrador de workspace deve ativar o Lakeflow Connect para Cribl na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Esta página contém informações sobre as limitações conhecidas do conector gerenciado Cribl no Lakeflow Connect.

Limitações gerais de conectores de software como serviço (SaaS)

As limitações nesta seção se aplicam a todos os conectores SaaS no Lakeflow Connect.

• Quando você executa um pipeline agendado, os alertas não Trigger imediatamente. Em vez disso, eles fazem Trigger quando ocorre a execução da próxima atualização.
• Quando uma tabela de origem é excluída, a tabela de destino não é excluída automaticamente. Você deve excluir a tabela de destino manualmente. Esse comportamento não é consistente com o comportamento do Spark Declarative Pipelines no Lakeflow.
• Durante os períodos de manutenção da fonte, o Databricks pode não conseguir acessar seus dados.
• Se um nome de tabela de origem entrar em conflito com um nome de tabela de destino existente, a atualização do pipeline falhará.
• O suporte a pipelines de vários destinos está disponível apenas via API.
• Opcionalmente, você pode renomear uma tabela que você ingere. Se você renomear uma tabela em seu pipeline, ela se tornará um pipeline apenas de API e não será mais possível editá-la na IU.
• Se você selecionar uma coluna depois que um pipeline já tiver começado, o conector não fará o backfill automático dos dados da nova coluna. Para ingerir data histórica, faça manualmente uma execução de refresh completo da tabela.
• O Databricks não pode ingerir duas ou mais tabelas com o mesmo nome no mesmo pipeline, mesmo que elas venham de esquemas de origem diferentes.
• O sistema de origem assume que as colunas de cursor estão aumentando de forma monótona.
• O conector ingere dados brutos sem transformações. Use Spark Declarative Pipelines downstream em LakeFlow Pipelines para transformações.

Limitações específicas do conector

As limitações nesta seção se aplicam ao conector Cribl.

• O conector suporta apenas Cribl.Cloud. Ele não se conecta a líderes Cribl auto-hospedados.
• Cada conexão lê um Workspace Cribl.Cloud. As tabelas workspaces e api_credentials têm escopo de Organização e retornam registros para cada Workspace na Organização.
• As tabelas com escopo do Grupo de Worker cobrem os Grupos de Worker de Transmissão, Edge e Pesquisa. Os grupos de Outpost aparecem apenas no worker_groups. A tabela workers cobre apenas Transmissão e Edge.