Limitations du connecteur Cribl

info

Bêta

Cette fonctionnalité est en version bêta. Pour l'utiliser, un administrateur de workspace doit activer Lakeflow Connect for Cribl à partir de la page Previews . Consultez Gérer les aperçus Databricks.

Cette page contient des informations sur les limitations connues du connecteur Cribl géré dans Lakeflow Connect.

Limitations générales des connecteurs SaaS (outil/solution/technologie/plateforme as a Service)

Les limitations de cette section s'appliquent à tous les connecteurs SaaS dans Lakeflow Connect.

• Lorsque vous exécutez un pipeline planifié, les alertes ne Trigger pas immédiatement. Au lieu de cela, elles Trigger lors de la prochaine exécution de la mise à jour.
• Lorsqu'une table source est supprimée, la table de destination n'est pas supprimée automatiquement. Vous devez supprimer la table de destination manuellement. Ce comportement n’est pas cohérent avec le comportement des Spark Declarative Pipelines sur Lakeflow.
• Pendant les périodes de maintenance des sources, Databricks peut ne pas être en mesure d’accéder à vos données.
• Si le nom d’une table source entre en conflit avec le nom d’une table de destination existante, la mise à jour du pipeline échouera.
• La prise en charge des pipelines à destinations multiples n’est possible que via l’API.
• Vous pouvez éventuellement renommer une table que vous ingérez. Si vous renommez une table dans votre pipeline, il devient un pipeline accessible uniquement par API, et vous ne pourrez plus modifier le pipeline dans l’interface utilisateur.
• Si vous sélectionnez une colonne après le début d’un pipeline, le connecteur ne complète pas automatiquement les données pour la nouvelle colonne. Pour ingérer des données historiques, exécutez manuellement un refresh complet sur la table.
• Databricks ne peut pas ingérer deux tables ou plus portant le même nom dans le même pipeline, même si elles proviennent de schémas sources différents.
• Le système source suppose que les colonnes curseur augmentent de façon monotone.
• Le connecteur ingère des données brutes sans transformation. Utilisez les pipelines Spark Declarative Pipelines en aval sur les LakeFlow Pipelines pour les Transformations.

Limitations spécifiques au connecteur

Les limitations de cette section s'appliquent au connecteur Cribl.

• Le connecteur prend uniquement en charge Cribl.Cloud. Il ne se connecte pas aux Leaders Cribl auto-hébergés.
• Chaque connexion lit un Workspace Cribl.Cloud. Les tables workspaces et api_credentials sont étendues à l’organisation et renvoient les enregistrements de chaque workspace de l’organisation.
• Les tables avec une portée de groupe de Worker couvrent les groupes de Worker Stream, Edge et Search. Les groupes Outpost apparaissent uniquement dans worker_groups. La table workers couvre uniquement Stream et Edge.