Limitations du connecteur Akamai WAF

info

Bêta

Cette fonctionnalité est en Bêta. Pour l’utiliser, l’administrateur d’un workspace doit activer Lakeflow Connect pour Akamai WAF depuis la page Previews . Consultez Gérer les aperçus Databricks.

Le connecteur Akamai WAF géré ingère uniquement la table akamai_waf_events, et Akamai conserve les événements SIEM pendant 12 heures, ce qui limite la capacité du connecteur à remonter dans le temps pour l’ingestion.

Limitations générales des connecteurs SaaS (outil/solution/technologie/plateforme as a Service)

Les limitations de cette section s'appliquent à tous les connecteurs SaaS de Lakeflow Connect.

• Lorsque vous exécutez un pipeline planifié, les alertes ne se Trigger pas immédiatement. Elles se Trigger plutôt lors de la prochaine exécution de la mise à jour.
• Lorsqu'une table source est supprimée, la table de destination n'est pas automatiquement supprimée. Vous devez supprimer manuellement la table de destination. Ce comportement n'est pas cohérent avec le comportement de Spark Declarative Pipelines sur Lakeflow.
• Pendant les périodes de maintenance de la source, Databricks peut ne pas être en mesure d’accéder à vos données.
• Si le nom d’une table source est en conflit avec le nom d’une table de destination existante, la mise à jour du pipeline échoue.
• La prise en charge des pipelines multi-destination est réservée aux API.
• Vous pouvez éventuellement renommer une table que vous ingérez. Si vous renommez une table de votre pipeline, celui-ci devient un pipeline accessible uniquement via l’API et vous ne pouvez plus le modifier dans l’interface utilisateur.
• Si vous sélectionnez une colonne après le start d'un pipeline, le connecteur ne remplit pas automatiquement les données pour la nouvelle colonne. Pour ingérer des données historiques, exécutez manuellement un refresh complet sur la table.
• Databricks ne peut pas ingérer deux tables ou plus portant le même nom dans le même pipeline, même si elles proviennent de schémas source différents.
• Le système source part du principe que les colonnes de curseur augmentent de façon monotone.
• Le connecteur ingère des données brutes sans transformations. Utilisez des Spark Declarative Pipelines en aval sur les Lakeflow pipelines pour les transformations.

Limitations spécifiques aux connecteurs

Les limitations de cette section s'appliquent au connecteur WAF Akamai.

• Le connecteur ingère une seule table, akamai_waf_events. Il n'ingère pas d'autres APIs ou ressources Akamai.
• Akamai conserve les événements SIEM pendant 12 heures. Le connecteur ne peut pas ingérer d'événements antérieurs à cette fenêtre de rétention. Planifiez l'exécution du pipeline au moins toutes les 12 heures. Voir Récupérer les événements de sécurité.
• Le type SCD 2 n’est pas pris en charge. Les Logs WAF sont en écriture seule.
• Vous devez fournir 1 à 1 000 ID de configuration de sécurité Web dans config_ids.
• default, les identifiants EdgeGrid expirent au bout de 2 ans. Une fois qu’ils ont expiré, créez de nouveaux identifiants et mettez à jour la connexion Unity Catalog.
• L’élément Host de la connexion doit être un hostname sans https:// et doit se terminer par .cloudsecurity.akamaiapis.net ou .luna.akamaiapis.net.