Aller au contenu principal
Dernière mise à jour le

Dépannage des pipelines d'ingestion gérés

Cette page décrit les problèmes courants liés aux pipelines d'ingestion gérés dans Databricks Lakeflow Connect et la manière de les résoudre. Pour le dépannage spécifique au connecteur, veuillez consulter la documentation de votre connecteur.

Dépannage général des pipelines​

Si l'exécution d'un pipeline échoue, cliquez sur l'étape qui a échoué et confirmez si le message d'erreur fournit des informations suffisantes sur la nature de l'erreur.

Afficher les journaux des événements du pipeline dans l'UI

Vous pouvez également vérifier et download les Logs des clusters à partir de la page de détails du pipeline en cliquant sur Détails de la mise à jour dans le panneau de droite, puis sur Logs . Analysez les Logs pour les erreurs ou les exceptions.

Consultez les détails de la mise à jour du pipeline dans l'interface utilisateur.

Sélection de colonnes à l'aide de Declarative Automation Bundles​

Problème : Vous ne pouvez pas utiliser la fonctionnalité de sélection de colonne lorsque vous créez un pipeline d’ingestion géré à l’aide de Declarative Automation Bundles.

Résolution : Vérifiez votre version de la CLI Databricks. Si la version est inférieure à v0.251.0, réinstallez la CLI.

Je ne peux pas modifier mon pipeline dans l'interface utilisateur​

Les pipelines créés ou mis à jour à l'aide de Declarative Automation Bundles ou de l'interface de ligne de commande (CLI) Databricks peuvent inclure des champs de configuration qui ne sont pas pris en charge dans l'assistant d'ingestion. Lorsque vous essayez de modifier un pipeline avec l'un de ces champs dans l'assistant, un avertissement indique que le mode visuel n'est pas disponible pour le pipeline. Pour modifier ces pipelines dans l'interface utilisateur, utilisez plutôt le mode éditeur de code.

Pour changer de mode, utilisez les boutons situés en haut de l’éditeur de pipeline ( Assistant , YAML , JSON ).

remarque

Si votre pipeline est géré par un bundle Declarative Automation Bundles, modifiez directement le fichier de définition du pipeline dans votre bundle. Les modifications apportées dans l'interface utilisateur seront écrasées la prochaine fois que vous exécuterez bundle deploy.

CANNOT_WRITE_TO_INACTIVE_TABLES​

CANNOT_WRITE_TO_INACTIVE_TABLES: Table 'XYZ' is marked as inactive and cannot be written to.

Cette erreur se produit lorsqu'un pipeline essaie d'écrire dans une table de destination qui a été marquée comme inactive. Une table devient inactive lorsque la table source correspondante est supprimée. Pour plus de contexte sur le fonctionnement des tables inactives, consultez les FAQ du connecteur géré.

Pour résoudre cela :

  • Si vous souhaitez reprendre l'ingestion à partir de la table source (par exemple, si elle a été recréée), exécutez un full refresh de la table affectée.
  • Si la table source a été intentionnellement supprimée, supprimez la table de destination inactive et retirez-la du pipeline.
Sur cette page