FAQ sur le connecteur SQL Server
Cette page répond aux questions fréquemment posées concernant le connecteur SQL Server dans Databricks Lakeflow Connect.
FAQ générales sur les connecteurs gérés
Les réponses dans les FAQ sur les connecteurs gérés s'appliquent à tous les connecteurs gérés dans Lakeflow Connect. Continuez à lire pour les FAQ spécifiques au connecteur.
Si le pipeline échoue, l'ingestion reprend-elle sans perte de données ?
Oui. Databricks suit ce que le connecteur a extrait de la source et appliqué à la destination. Si un incident se produit, Databricks peut reprendre à ce point tant que les Logs restent sur la base de données source. Cela peut être impacté si le pipeline ne s'exécute pas avant que la période de rétention des Logs ne supprime les Logs, nécessitant un refresh complet des tables cibles.
Le connecteur capture-t-il les fuseaux horaires pour les colonnes de date et d'heure ?
Non. La date et l'heure sont ingérées au format UTC.
Puis-je personnaliser la planification de la passerelle d'ingestion ?
La passerelle d’ingestion doit s’exécuter en mode continu pour éviter la suppression des modifications en raison de la conservation des logs. Si des modifications ont été supprimées, un refresh complet est requis pour toutes les tables.
Comment le connecteur gère-t-il une table sans clé primaire ?
Le connecteur traite toutes les colonnes, à l'exception des objets volumineux, comme une clé primaire groupée. S’il y a des lignes en double dans la table source, ces lignes sont ingérées comme une seule ligne dans la table de destination.
À quelle fréquence peut-on planifier l'exécution du pipeline d'ingestion ?
Il n'y a pas de limite quant à la fréquence de planification de l'exécution du pipeline d'ingestion. Cependant, Databricks recommande au moins 5 minutes entre les intervalles car le Startup du compute Serverless prend un certain temps. Databricks ne prend pas en charge l'exécution du pipeline d'ingestion en mode continu.
Pourquoi est-ce que je ne vois pas toutes les lignes de ma base de données lors de la première exécution du pipeline ?
La passerelle d’ingestion extrait les données historiques et CDC dès qu’elle commence à s’exécuter. Le pipeline d’ingestion peut s'exécuter avant que toutes ces données n’aient été extraites, ce qui entraînerait une application partielle des données dans les tables cibles. Quelques exécutions du pipeline d'ingestion peuvent être nécessaires pour que toutes les données soient extraites et appliquées aux tables cibles.
Mon portail d'ingestion met du temps à start. Comment le corriger ?
Les passerelles s'exécutent sur un compute classique et provisionnent une machine virtuelle (VM) à chaque start. Si le démarrage de la Startup prend plus de quelques minutes, veuillez prendre en considération ce qui suit :
- Passer au canal de distribution actuel du pipeline. Il s'agit de la correction la plus courante. Les builds du canal de distribution en aperçu ont des temps de Startup plus longs. Vous pouvez modifier ce paramètre dans l'interface utilisateur (dans les paramètres avancés du pipeline sous Canal de distribution ), le fichier de ressources groupées ou la spécification du pipeline.
- Ne redémarrez pas la passerelle entre les exécutions d'ingestion. La passerelle est conçue pour fonctionner en continu. L'arrêter et le redémarrer reprovisionne la VM à chaque redémarrage et risque de manquer des logs de modification si la source les tronque pendant que la passerelle est hors service.
Si la passerelle reste bloquée dans un état de démarrage pendant 15 minutes ou plus, créez un ticket d'assistance.
Ceci s'applique uniquement aux passerelles. Les pipelines d'ingestion s'exécutent sur des compute Serverless et start rapidement.
Puis-je ingérer à partir d'un réplica en lecture ou d'une instance secondaire ?
Non. Le support est limité aux instances SQL Server principales. En effet, le suivi des modifications et la capture des données modifiées ne sont pas pris en charge sur les répliques en lecture seule ou les instances secondaires.