Limitações do conector de Logs de auditoria da Anysphere

info

Beta

Este recurso está em Beta. Os administradores do workspace podem controlar o acesso a este recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Limitações gerais do conector SaaS

As limitações nesta seção se aplicam a todos os conectores SaaS no Lakeflow Connect.

• Quando você executa um pipeline agendado, os alertas não Trigger imediatamente. Em vez disso, eles fazem Trigger quando ocorre a execução da próxima atualização.
• Quando uma tabela de origem é excluída, a tabela de destino não é excluída automaticamente. Você deve excluir a tabela de destino manualmente. Este comportamento não é consistente com o comportamento do Spark Declarative Pipelines no Lakeflow.
• Durante períodos de manutenção da fonte, o Databricks pode não conseguir acessar seus dados.
• Se um nome de tabela de origem entrar em conflito com um nome de tabela de destino existente, a atualização do pipeline falhará.
• O suporte a pipeline de vários destinos é apenas via API.
• Opcionalmente, você pode renomear uma tabela que você ingere. Se você renomear uma tabela em seu pipeline, ele se tornará um pipeline somente de API, e você não poderá mais editar o pipeline na IU.
• Se você selecionar uma coluna após o início de um pipeline, o conector não preencherá automaticamente os dados da nova coluna. Para ingerir data histórica, execute manualmente um refresh completo na tabela.
• O Databricks não pode ingerir duas ou mais tabelas com o mesmo nome no mesmo pipeline, mesmo que venham de esquemas de origem diferentes.
• O sistema de origem pressupõe que as colunas de cursor aumentam de forma monótona.
• O conector ingere dados brutos sem transformações. Use Spark Declarative Pipelines downstream em LakeFlow Pipelines para transformações.

Limitações específicas do conector

As limitações nesta seção aplicam-se ao conector de Logs de auditoria da Anysphere.

• O conector não é compatível com o SCD tipo 2 para dados de eventos de log de auditoria.
• O conector é compatível com ingestão incremental para a tabela audit_logs usando o campo de cursor timestamp. Apenas eventos de auditoria dos últimos 30 dias estão disponíveis — a Anysphere (Cursor) retém logs de auditoria por aproximadamente 30 dias e limita a janela de query a 30 dias. Na primeira execução do pipeline, espere que a tabela contenha apenas eventos recentes (normalmente dos últimos 30 dias), não um arquivo histórico completo.
• Para obter a lista de tabelas suportadas, consulte Tabelas de origem suportadas.