Aller au contenu principal
Dernière mise à jour le

Dépannage des pipelines d'ingestion gérés

Cette page décrit les problèmes courants liés aux pipelines d'ingestion gérés dans Databricks Lakeflow Connect et la manière de les résoudre. Pour le dépannage spécifique au connecteur, veuillez consulter la documentation de votre connecteur.

Dépannage général des pipelines​

Si l'exécution d'un pipeline échoue, cliquez sur l'étape qui a échoué et confirmez si le message d'erreur fournit des informations suffisantes sur la nature de l'erreur.

Afficher les journaux des événements du pipeline dans l'UI

Vous pouvez également vérifier et download les Logs des clusters à partir de la page de détails du pipeline en cliquant sur Détails de la mise à jour dans le panneau de droite, puis sur Logs . Analysez les Logs pour les erreurs ou les exceptions.

Consultez les détails de la mise à jour du pipeline dans l'interface utilisateur.

Le pipeline ne reprend pas après la restauration d’une table de streaming​

L'utilisation de UNDROP TABLE pour restaurer une table de streaming de destination récupère ses métadonnées et ses données conservées. Cependant, la restauration de la table ne garantit pas que le pipeline d'ingestion géré pourra reprendre à partir de sa position source précédente. Pour certains connecteurs, le décalage de source requis n'est peut-être plus disponible.

Après avoir restauré une table de streaming, exécutez le pipeline et vérifiez qu'il se termine avec succès. Si le pipeline ne peut pas reprendre, vous devrez peut-être refresh entièrement les tables cibles concernées. Une full refresh resets l'état de la table restaurée et retraite les enregistrements à partir de la source. Vérifiez que la source conserve toutes les données historiques requises avant de lancer une refresh complète.

Sélection de colonnes à l'aide de Declarative Automation Bundles​

Problème : Vous ne pouvez pas utiliser la fonctionnalité de sélection de colonne lorsque vous créez un pipeline d’ingestion géré à l’aide de Declarative Automation Bundles.

Résolution : Vérifiez votre version de la CLI Databricks. Si la version est inférieure à v0.251.0, réinstallez la CLI.

Je ne peux pas modifier mon pipeline dans l'interface utilisateur​

Les pipelines créés ou mis à jour à l'aide de Declarative Automation Bundles ou de l'interface de ligne de commande (CLI) Databricks peuvent inclure des champs de configuration qui ne sont pas pris en charge dans l'assistant d'ingestion. Lorsque vous essayez de modifier un pipeline avec l'un de ces champs dans l'assistant, un avertissement indique que le mode visuel n'est pas disponible pour le pipeline. Pour modifier ces pipelines dans l'interface utilisateur, utilisez plutôt le mode éditeur de code.

Pour changer de mode, utilisez les boutons situés en haut de l’éditeur de pipeline ( Assistant , YAML , JSON ).

remarque

Si votre pipeline est géré par un bundle Declarative Automation Bundles, modifiez directement le fichier de définition de pipeline de votre bundle. Les modifications apportées dans l'interface utilisateur sont écrasées lors de la prochaine exécution de bundle deploy.

CANNOT_WRITE_TO_INACTIVE_TABLES​

CANNOT_WRITE_TO_INACTIVE_TABLES: Table 'XYZ' is marked as inactive and cannot be written to.

Cette erreur se produit lorsqu'un pipeline essaie d'écrire dans une table de destination qui a été marquée comme inactive. Une table devient inactive lorsque la table source correspondante est supprimée. Pour plus de contexte sur le fonctionnement des tables inactives, consultez les FAQ du connecteur géré.

Pour résoudre cela :

  • Si vous souhaitez reprendre l'ingestion à partir de la table source (par exemple, si elle a été recréée), exécutez un full refresh de la table affectée.
  • Si la table source a été intentionnellement supprimée, supprimez la table de destination inactive et retirez-la du pipeline.
Sur cette page