Pular para o conteúdo principal

Limitações do conector de logs do sistema Okta

info

Beta

Este recurso está em Beta. To use it, a workspace admin must turn on Lakeflow Connect for Okta System Logs from the Previews page. See Gerenciar Databricks previews.

O conector gerenciado do Okta System Logs ingere apenas a tabela system_logs. O Okta retém os dados do System Log por 90 dias, o que limita a antecedência com que o conector pode ingerir eventos.

General software as a service (SaaS) connector limitations​

As limitações nesta seção se aplicam a todos os conectores SaaS no Lakeflow Connect.

  • Quando você executa um pipeline agendado, os alertas não Trigger imediatamente. Em vez disso, eles fazem Trigger quando ocorre a execução da próxima atualização.
  • Quando uma tabela de origem é excluída, a tabela de destino não é excluída automaticamente. Você deve excluir a tabela de destino manualmente. Esse comportamento não é consistente com o comportamento do Spark Declarative Pipelines no Lakeflow.
  • During source maintenance periods, Databricks might not be able to access your data.
  • Se o nome de uma tabela de origem entrar em conflito com o nome de uma tabela de destino existente, a atualização do pipeline falhará.
  • O suporte a pipeline de vários destinos é apenas por API.
  • Opcionalmente, você pode renomear uma tabela que você ingere. Se você renomear uma tabela no seu pipeline, ele se tornará um pipeline somente de API, e você não poderá mais editá-lo na IU.
  • If you select a column after a pipeline has already começado, the connector does not automatically backfill data for the new column. Para ingerir data histórica, execute manualmente um refresh completo na tabela.
  • O Databricks não pode ingerir duas ou mais tabelas com o mesmo nome no mesmo pipeline, mesmo que sejam provenientes de esquemas de origem diferentes.
  • O sistema de origem assume que as colunas de cursor são monotonicamente crescentes.
  • O conector ingere dados brutos sem transformações. Use Spark Declarative Pipelines downstream em LakeFlow Pipelines para transformações.

Limitações específicas do conector​

As seguintes limitações se aplicam ao conector do Okta System Logs:

  • O conector ingere apenas a tabela system_logs. Ele não ingere outros recursos de API do Okta, como usuários, grupos, aplicativos ou políticas.
  • O Okta retorna dados do System Log dos últimos 90 dias apenas. O conector não pode ingerir eventos mais antigos do que esta janela de retenção.
  • The connector supports SSWS API token authentication only.
  • O SCD Tipo 2 não é compatível porque os eventos do System Log são somente de adição.
  • A filtragem de linha não é compatível.