Limites du connecteur ServiceNow

Cette page répertorie les limitations et les considérations relatives à l'ingestion de données de ServiceNow à l'aide de Databricks Lakeflow Connect.

Limitations générales des connecteurs SaaS

Les limitations de cette section s'appliquent à tous les connecteurs SaaS de Lakeflow Connect.

• Lorsque vous exécutez un pipeline planifié, les alertes ne se Trigger pas immédiatement. Au lieu de cela, ils Trigger lors de l’exécution de la prochaine mise à jour.
• Lorsqu’une table source est supprimée, la table de destination n’est pas automatiquement supprimée. Vous devez supprimer la table de destination manuellement. Ce comportement n'est pas cohérent avec le comportement de Spark Declarative Pipelines sur Lakeflow.
• Pendant les périodes de maintenance de la source, Databricks pourrait ne pas être en mesure d'accéder à vos données.
• Si un nom de table source entre en conflit avec un nom de table de destination existant, la mise à jour du pipeline échoue.
• La prise en charge des pipelines multi-destination est uniquement via l'API.
• Vous pouvez éventuellement renommer une table que vous ingérez. Si vous renommez une table dans votre pipeline, il devient un pipeline API uniquement, et vous ne pouvez plus modifier le pipeline dans l'interface utilisateur.
• Si vous sélectionnez une colonne après qu'un pipeline a déjà start, le connecteur ne renseigne pas automatiquement les données historiques pour la nouvelle colonne. Pour ingérer des données historiques, exécutez manuellement un refresh complet sur la table.
• Databricks ne peut pas ingérer deux tables ou plus portant le même nom dans le même pipeline, même si elles proviennent de schémas sources différents.
• Le système source suppose que les colonnes du curseur augmentent de façon monotone.
• Le connecteur ingère des données brutes sans transformations. Utilisez les Spark Declarative Pipelines en aval sur les Lakeflow Pipelines pour les transformations.

Spécifique au connecteur

Les limitations de cette section sont spécifiques au connecteur ServiceNow.

pipeline

• Le connecteur ne peut ingérer que les tables comportant une colonne sys_id.

• Les tables ingérées de manière incrémentielle doivent comporter l’une des colonnes suivantes. Si aucune de ces colonnes n’existe, le connecteur capture un instantané de la table source et remplace la table de destination.

  • sys_updated_on
  • sys_created_on
  • sys_archived

  Certaines tables ne peuvent pas être extraites de manière incrémentielle, même si l'une de ces trois colonnes est présente. Dans ces cas, le connecteur effectue également une capture instantanée de la table source et écrase la table de destination.

Tables

• Il existe une limite de 250 tables par pipeline. Pour ingérer plus de 250 tables, créez plusieurs pipelines.
• Si le nom de la table ou l'un des noms de colonne contient le caractère '$', le connecteur ne peut pas ingérer la table.