Limitações do conector Akamai WAF

info

Beta

Esse recurso está em Beta. Para usá-lo, o administrador de um workspace deve ativar o Lakeflow Connect for Akamai WAF na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

O conector gerenciado do Akamai WAF ingere apenas a tabela akamai_waf_events, e a Akamai retém eventos de SIEM por 12 horas, o que limita o período de histórico que o conector pode ingerir.

General software as a service (SaaS) connector limitations

As limitações nesta seção se aplicam a todos os conectores de SaaS no Lakeflow Connect.

• Quando você executa um pipeline agendado, os alertas não Trigger imediatamente. Em vez disso, eles fazem Trigger quando ocorre a execução da próxima atualização.
• Quando uma tabela de origem é excluída, a tabela de destino não é excluída automaticamente. Você deve excluir a tabela de destino manualmente. Esse comportamento não é consistente com o comportamento do Spark Declarative Pipelines no Lakeflow.
• Durante os períodos de manutenção da origem, o Databricks pode não conseguir acessar seus dados.
• Se o nome de uma tabela de origem entrar em conflito com o nome de uma tabela de destino existente, a atualização do pipeline falhará.
• O suporte a pipelines de vários destinos é exclusivo para API.
• Opcionalmente, você pode renomear uma tabela que ingerir. Se você renomear uma tabela no seu pipeline, ele se tornará um pipeline somente de API e você não poderá mais editá-lo na IU.
• Se você selecionar uma coluna depois que um pipeline já tiver começado, o conector não preencherá automaticamente os dados da nova coluna. Para ingerir data histórica, execute manualmente um refresh completo na tabela.
• O Databricks não pode ingerir duas ou mais tabelas com o mesmo nome no mesmo pipeline, mesmo que venham de esquemas de origem diferentes.
• O sistema de origem pressupõe que as colunas do cursor são crescentes de forma monotônica.
• O conector ingere dados brutos sem transformações. Use Spark Declarative Pipelines downstream em LakeFlow Pipelines para transformações.

Limitações específicas do conector

As limitações desta seção aplicam-se ao conector Akamai WAF.

• O conector ingere uma única tabela, akamai_waf_events. Ele não ingere outras APIs ou recursos da Akamai.
• O Akamai retém eventos de SIEM por 12 horas. O conector não pode ingerir eventos anteriores a essa janela de retenção. Programe o pipeline para ser executado pelo menos a cada 12 horas. Consulte Buscar eventos de segurança.
• O SCD Tipo 2 não é compatível. Os Logs de WAF são somente de acréscimo.
• Você deve fornecer de 1 a 1.000 IDs de configuração de segurança da Web em config_ids.
• As credenciais do EdgeGrid expiram após 2 anos por default. Após a expiração, crie novas credenciais e atualize a conexão do Unity Catalog.
• O Host da conexão deve ser um hostname sem https:// e deve terminar com .cloudsecurity.akamaiapis.net ou .luna.akamaiapis.net.