Limitations du connecteur Microsoft Dynamics 365

Cette page décrit les limitations et restrictions pour le connecteur Microsoft Dynamics 365 dans Lakeflow Connect.

Limitations générales des connecteurs SaaS

Le connecteur Dynamics 365 présente des limitations communes à tous les connecteurs SaaS de Lakeflow Connect :

• Lorsque vous exécutez un pipeline planifié, les alertes ne se Trigger pas immédiatement. Au lieu de cela, ils Trigger lors de l’exécution de la prochaine mise à jour.
• Lorsqu’une table source est supprimée, la table de destination n’est pas automatiquement supprimée. Vous devez supprimer la table de destination manuellement. Ce comportement n'est pas cohérent avec le comportement de Spark Declarative Pipelines sur Lakeflow.
• Pendant les périodes de maintenance de la source, Databricks pourrait ne pas être en mesure d'accéder à vos données.
• Si un nom de table source entre en conflit avec un nom de table de destination existant, la mise à jour du pipeline échoue.
• La prise en charge des pipelines multi-destination est uniquement via l'API.
• Vous pouvez éventuellement renommer une table que vous ingérez. Si vous renommez une table dans votre pipeline, il devient un pipeline API uniquement, et vous ne pouvez plus modifier le pipeline dans l'interface utilisateur.
• Si vous sélectionnez une colonne après qu'un pipeline a déjà start, le connecteur ne renseigne pas automatiquement les données historiques pour la nouvelle colonne. Pour ingérer des données historiques, exécutez manuellement un refresh complet sur la table.
• Databricks ne peut pas ingérer deux tables ou plus portant le même nom dans le même pipeline, même si elles proviennent de schémas sources différents.
• Le système source suppose que les colonnes du curseur augmentent de façon monotone.
• Le connecteur ingère des données brutes sans transformations. Utilisez les Spark Declarative Pipelines en aval sur les Lakeflow Pipelines pour les transformations.

Exigences d’Azure Synapse Link

Le connecteur Dynamics 365 nécessite qu'Azure Synapse Link for Dataverse s'exécute en continu :

• Fonctionnement continu : Synapse Link doit exporter les données sans interruption. Si Synapse Link s'arrête, le connecteur ne peut pas capturer les modifications tant qu'il n'a pas repris.
• Latence d'exportation : les changements apparaissent dans Azure Data Lake Storage (ADLS) Gen2 après l'intervalle d'exportation de Synapse Link (généralement de 5 à 15 minutes). L'architecture Synapse Link inclut intrinsèquement cette latence.
• Stratégies de rétention : configurez des stratégies de rétention appropriées pour votre stockage ADLS Gen2. Si vous supprimez les exportations Synapse Link avant l'ingestion, vous devez effectuer un full refresh.

important

Si Azure Synapse Link s'arrête pendant une période prolongée, vous pourriez manquer des changements. Surveillez la santé de Synapse Link dans le portail de créateur Power Apps et configurez des alertes pour les échecs d'exportation.

évolution des schémas

Actuellement, le connecteur Dynamics 365 ne prend pas en charge l'évolution automatique des schémas.

Évolution des schémas d’entités virtuelles

Considérations spéciales pour les entités virtuelles Finance & Opérations :

Les entités virtuelles dans F&O nécessitent une gestion supplémentaire pour les changements de schéma :

• Mises à jour des entités virtuelles : Lorsque les entités virtuelles F&O sont mises à jour, vous devez refresh la configuration de l'entité virtuelle dans Dataverse.
• Délai de synchronisation : prévoyez jusqu'à 15 minutes pour que les modifications d'entité virtuelle apparaissent dans la découverte de schéma Dataverse.
• Full refresh required : Les modifications de schéma d'entité virtuelle nécessitent un full refresh des tables affectées.

Action requise : surveillez les mises à jour des entités virtuelles F&O et coordonnez les refresh complets avec votre administrateur D365.

Ingestion incrémentielle

L'ingestion incrémentale du connecteur Dynamics 365 présente les limitations suivantes :

• Nécessite versionnumber : Synapse Link doit exporter les journaux de modifications avec le champ versionnumber. Si versionnumber est manquant, vous devez utiliser le mode refresh complet.
• Traitement basé sur les dossiers : le connecteur traite les dossiers d'exportation Synapse Link par ordre chronologique. Si vous supprimez des dossiers ou si des dossiers sont manquants, le connecteur ne peut pas se récupérer sans un refresh complet.
• Aucun remplissage historique : si Synapse Link manque des changements en raison d’un temps d’arrêt, ces changements ne sont pas capturés, à moins que vous n’effectuiez une complète refresh.
• Détection de suppression : le connecteur détecte les suppressions uniquement si Synapse Link exporte les enregistrements de suppression dans les journaux des modifications. Certaines configurations de Dynamics 365 n'exportent pas les suppressions.

astuce

Vérifiez que votre configuration Synapse Link exporte les journaux de modifications avec versionnumber avant de créer des pipelines. Consultez Configurer la source de données pour l'ingestion de Microsoft Dynamics 365.

Pièces jointes et fichiers

Le connecteur Dynamics 365 ingère les métadonnées de pièce jointe, mais pas le contenu des fichiers :

• **Métadonnées uniquement** : Le connecteur ingère les tables de pièces jointes (par exemple,,)annotation attachmentavec les noms de fichiers, les tailles, les types MIME et les associations d'enregistrements.
• Pas de données binaires : Le connecteur n'ingère pas le contenu des fichiers. Vous devez download les fichiers séparément à l'aide de l'API web Dynamics 365 ou de Power Automate.
• Limitation de stockage : Synapse Link exporte les données de table, et non les fichiers binaires stockés dans Microsoft Dynamics 365.

**Solution de contournement** : Utilisez les métadonnées des pièces jointes pour identifier les fichiers requis, puis download-les à l’aide des APIs Dynamics 365 et stockez-les dans un volume ou ADLS Gen2.

Prise en charge des types de données

Le connecteur Dynamics 365 prend en charge la plupart des types de données Dataverse, mais présente des limitations pour les types complexes :

Pris en charge avec une fidélité totale

• Chaîne (texte mono-ligne et multi-lignes)
• Entier (nombre entier)
• Décimal (nombre décimal)
• Booléen (oui/non)
• Date/Heure (date et heure)
• Argent (devise)
• Recherche (références de clé étrangère, stockées en tant que GUID)

Pris en charge avec des limitations

• Ensembles d'options (listes de sélection) : le connecteur ingère ces éléments sous forme de valeurs entières. Pour mapper les entiers aux étiquettes, joignez-vous à la table OptionSetMetadata ou maintenez une table de référence.
• Ensembles d'options de sélection multiple : le connecteur les ingère sous forme de chaînes d'entiers séparées par des virgules. Analysez la chaîne pour extraire les valeurs individuelles.
• Champs de recherche : le connecteur les ingère en tant que GUID. Pour obtenir les données d'enregistrement associées, joignez-vous à la table référencée.

Non pris en charge

• Objets JSON complexes : certains types de données Dataverse personnalisés s'exportent au format JSON. Le connecteur les ingère comme des chaînes. Analysez le JSON dans les transformations en aval.
• Images : Les métadonnées d'image sont ingérées, mais les données d'image doivent être download séparément.

Consultez la référence du connecteur Microsoft Dynamics 365 pour un tableau complet de mappage des types de données.

Considérations sur les performances

Les performances du connecteur Dynamics 365 dépendent de plusieurs facteurs :

Heure de synchronisation initiale

• **Volume de données** : Les tables contenant des millions d'enregistrements prennent plus de temps à se synchroniser initialement.
• Exportation Synapse Link : L'exportation initiale de Synapse Link peut prendre des heures pour les grands datasets.
• Réseau throughput : la vitesse de transfert entre Azure et Databricks affecte le temps de synchronisation.

Recommendation : Start avec un petit sous-ensemble de tables pour valider la configuration, puis ajoutez d’autres tables de manière incrémentielle.

Heure de synchronisation incrémentielle

• Volume de changements : les modifications à haute fréquence (par exemple, des milliers de mises à jour par minute) augmentent le temps de traitement.
• Nombre de dossiers : Synapse Link crée des dossiers à intervalles réguliers. Plus de dossiers augmentent la surcharge de traitement.
• Taille du journal des modifications : les journaux des modifications volumineux prennent plus de temps à traiter.

Recommandation : Planifiez les exécutions de pipelines en fonction de votre volume de modifications. Pour les changements à haute fréquence, exécutez les pipelines plus souvent pour garder les journaux de modifications courts.

Limitations du pipeline

Le connecteur Dynamics 365 présente les limitations spécifiques aux pipelines :

• **Nombre maximal de tables par pipeline** : 250 tables. Pour les environnements Dynamics 365 de grande taille, créez plusieurs pipelines.

remarque

La limite de 250 tables est par pipeline, et non par connexion. Pour ingérer plus de 250 tables, créez plusieurs pipelines en utilisant la même connexion.

Limitations des API et SDK

Le connecteur Dynamics 365 utilise les API Dataverse et Azure Storage avec les limitations suivantes :

• Compatibilité des versions d'API : Le connecteur est testé avec l'API Dataverse v9.2 et versions ultérieures. Les versions plus anciennes pourraient ne pas être prises en charge.
• API de Stockage Azure : Le connecteur utilise la version 2021-08-06 de l'API REST du Stockage Azure. Assurez-vous que votre compte de stockage prend en charge cette version.
• **Version de Synapse Link** : le connecteur requiert Azure Synapse Link pour Dataverse version 1.0 ou ultérieure.

**Recommandation** : Maintenez vos services Dynamics 365, Dataverse et Azure à jour avec les dernières versions pour une compatibilité optimale.

Problèmes connus

• Délais de synchronisation des entités virtuelles : La synchronisation des entités virtuelles prend parfois plus de 15 minutes. Si les tables n'apparaissent pas, attendez jusqu'à 30 minutes et réessayez.
• **Échecs d'exportation Synapse Link** : Synapse Link ne parvient parfois pas à exporter des tables spécifiques. Vérifiez les journaux Synapse Link dans Power Apps pour les erreurs.
• Journal des modifications versionnumber lacunes : Dans de rares cas, les journaux des modifications peuvent présenter des lacunes dans les séquences versionnumber. Cela n'affecte pas l'intégrité des données, mais peut provoquer des avertissements dans les Logs de pipeline.

Signalez les problèmes au support Databricks avec les ID de pipeline et les timestamps pour investigation.