Limitações do conector de logs do sistema Okta
info
Beta
Este recurso está em Beta. To use it, a workspace admin must turn on Lakeflow Connect for Okta System Logs from the Previews page. See Gerenciar Databricks previews.
O conector gerenciado do Okta System Logs ingere apenas a tabela system_logs. O Okta retém os dados do System Log por 90 dias, o que limita a antecedência com que o conector pode ingerir eventos.
General software as a service (SaaS) connector limitations
As limitações nesta seção se aplicam a todos os conectores SaaS no Lakeflow Connect.
- Quando você executa um pipeline agendado, os alertas não Trigger imediatamente. Em vez disso, eles fazem Trigger quando ocorre a execução da próxima atualização.
- Quando uma tabela de origem é excluída, a tabela de destino não é excluída automaticamente. Você deve excluir a tabela de destino manualmente. Esse comportamento não é consistente com o comportamento do Spark Declarative Pipelines no Lakeflow.
- During source maintenance periods, Databricks might not be able to access your data.
- Se o nome de uma tabela de origem entrar em conflito com o nome de uma tabela de destino existente, a atualização do pipeline falhará.
- O suporte a pipeline de vários destinos é apenas por API.
- Opcionalmente, você pode renomear uma tabela que você ingere. Se você renomear uma tabela no seu pipeline, ele se tornará um pipeline somente de API, e você não poderá mais editá-lo na IU.
- If you select a column after a pipeline has already começado, the connector does not automatically backfill data for the new column. Para ingerir data histórica, execute manualmente um refresh completo na tabela.
- O Databricks não pode ingerir duas ou mais tabelas com o mesmo nome no mesmo pipeline, mesmo que sejam provenientes de esquemas de origem diferentes.
- O sistema de origem assume que as colunas de cursor são monotonicamente crescentes.
- O conector ingere dados brutos sem transformações. Use Spark Declarative Pipelines downstream em LakeFlow Pipelines para transformações.
Limitações específicas do conector
As seguintes limitações se aplicam ao conector do Okta System Logs:
- O conector ingere apenas a tabela
system_logs. Ele não ingere outros recursos de API do Okta, como usuários, grupos, aplicativos ou políticas. - O Okta retorna dados do System Log dos últimos 90 dias apenas. O conector não pode ingerir eventos mais antigos do que esta janela de retenção.
- The connector supports SSWS API token authentication only.
- O SCD Tipo 2 não é compatível porque os eventos do System Log são somente de adição.
- A filtragem de linha não é compatível.