Limitations du connecteur Smartsheet
Bêta
Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.
Cette page contient des informations sur les limitations connues du connecteur Smartsheet géré dans Lakeflow Connect.
Limitations générales
- Lorsque vous exécutez un pipeline planifié, les alertes ne se Trigger pas immédiatement. Au lieu de cela, ils Trigger lors de l’exécution de la prochaine mise à jour.
- Lorsqu’une table source est supprimée, la table de destination n’est pas automatiquement supprimée. Vous devez supprimer la table de destination manuellement. Ce comportement n'est pas cohérent avec le comportement de Spark Declarative Pipelines sur Lakeflow.
- Pendant les périodes de maintenance de la source, Databricks pourrait ne pas être en mesure d'accéder à vos données.
- Si un nom de table source entre en conflit avec un nom de table de destination existant, la mise à jour du pipeline échoue.
- La prise en charge des pipelines multi-destination est uniquement via l'API.
- Vous pouvez éventuellement renommer une table que vous ingérez. Si vous renommez une table dans votre pipeline, il devient un pipeline API uniquement, et vous ne pouvez plus modifier le pipeline dans l'interface utilisateur.
- Si vous sélectionnez une colonne après qu'un pipeline a déjà start, le connecteur ne renseigne pas automatiquement les données historiques pour la nouvelle colonne. Pour ingérer des données historiques, exécutez manuellement un refresh complet sur la table.
- Databricks ne peut pas ingérer deux tables ou plus portant le même nom dans le même pipeline, même si elles proviennent de schémas sources différents.
- Le système source suppose que les colonnes du curseur augmentent de façon monotone.
- Le connecteur ingère des données brutes sans transformations. Utilisez les Spark Declarative Pipelines en aval sur les Lakeflow Pipelines pour les transformations.
Types d'objets source pris en charge
Le connecteur Smartsheet prend en charge les types d'objets source suivants :
Type | Description |
|---|---|
Feuille | Ingère une feuille de calcul Smartsheet individuelle. |
Rapport | Ingère un rapport Smartsheet, qui agrège des lignes de plusieurs feuilles source ou plusieurs lignes d'une seule feuille dans une vue en lecture seule unique. |
Limitations spécifiques au connecteur
Aucune synchronisation incrémentielle
Ce connecteur ne prend pas en charge la synchronisation incrémentielle. Chaque exécution de pipeline effectue un refresh complet de la table de destination.
Restrictions de mappage de colonnes Delta Lake
Le connecteur Smartsheet utilise le mappage des colonnes Delta Lake pour prendre en charge les noms de colonnes Smartsheet qui contiennent des caractères spéciaux, des espaces et de la ponctuation. Cela permet une représentation précise du schéma sans renommer les colonnes pendant l'ingestion. Cependant, l'activation du mappage des colonnes introduit les limitations suivantes :
- Les lectures en streaming ne sont pas prises en charge : Les tables créées par ce connecteur ne peuvent pas être lues comme sources de streaming. Il s’agit d’une contrainte de mappage de colonnes Delta Lake, qui met à niveau le protocole de table vers la version 2 du lecteur et la version 5 de l’enregistreur, incompatibles avec Structured Streaming.
- Le flux de données de modification (CDF) n'est pas pris en charge : vous ne pouvez pas activer Delta CDF sur les tables qui utilisent le mappage de colonnes. Si vos pipelines en aval utilisent CDF, choisissez une approche alternative.
- Nécessite Databricks Runtime 10.4 LTS ou une version ultérieure : les tables écrites par ce connecteur ne peuvent être lues que par des clusters exécutant Databricks Runtime 10.4 LTS ou une version supérieure. Les anciennes versions d'exécution ne prennent pas en charge les versions de protocole Delta requises.
Le mappage de colonnes est activé car Smartsheet autorise les noms de colonne avec des caractères tels que des espaces, des virgules et des parenthèses qui ne sont pas valides dans les schémas de table Delta standard. Pour plus d'informations, consultez le mappage des colonnes Delta Lake.
Pour les noms de champs et les mappages de type, référez-vous à la référence du connecteur Smartsheet.