Développez et déboguez des pipelines avec un Notebook (hérité)

info

Aperçu

Cette fonctionnalité est en aperçu public.

Vous pouvez développer et déboguer des pipelines ETL à partir d'un notebook Databricks connectés à un pipeline en utilisant l'expérience d'édition de notebook héritée dans les LakeFlow Pipelines.

important

Cette page décrit l'expérience d'édition des Notebook héritée. Cette fonctionnalité ne peut plus être activée et n'est accessible que dans les Workspaces qui avaient précédemment refusé l'éditeur de LakeFlow Pipelines. L'expérience d'édition de notebook est obsolète et sera supprimée.

L'expérience default est l'éditeur de LakeFlow Pipelines. Utilisez l'éditeur Lakeflow Pipelines pour modifier les notebooks, ou les fichiers de code Python ou SQL pour un pipeline. Pour plus d'informations, consultez Développer et déboguer les pipelines ETL avec l'éditeur Lakeflow Pipelines.

Présentation des Notebook dans les pipeline

Lorsque vous travaillez sur un Notebook Python ou SQL configuré comme code source pour un pipeline existant, vous pouvez connecter le Notebook directement au pipeline. Lorsque le notebook est connecté au pipeline, les fonctionnalités suivantes sont disponibles :

• start et validez le pipeline à partir du Notebook.
• Affichez le Graphe de flux de données et le log des événements du pipeline pour la dernière mise à jour dans le Notebook.
• Affichez les diagnostics de pipeline dans l'éditeur de Notebook.
• Affichez le statut du cluster du pipeline dans le Notebook.
• Accédez à l'interface utilisateur du pipeline à partir du Notebook.

Prérequis

• Vous devez disposer d'un pipeline existant avec un Notebook Python ou SQL configuré comme code source.
• Vous devez soit être le propriétaire du pipeline, soit disposer du privilège CAN_MANAGE.

Limitations

• Les fonctionnalités abordées dans cet article sont uniquement disponibles dans les notebooks Databricks. Les fichiers Workspace ne sont pas pris en charge.
• Le terminal Web n'est pas disponible lorsqu'il est attaché à un pipeline. Par conséquent, il n'est pas visible comme un tab dans le panneau inférieur.

Connecter un notebook à un pipeline

Dans le notebook, cliquez sur le menu déroulant utilisé pour sélectionner le compute. Le menu déroulant affiche tous vos pipelines avec ce notebook comme code source. Pour connecter le Notebook à un pipeline, sélectionnez-le dans la liste.

Afficher l'état du cluster du pipeline

Pour comprendre facilement l'état du cluster de votre pipeline, son état est affiché dans le menu déroulant compute avec une couleur verte pour indiquer que le cluster est en cours d'exécution.

Valider le code de pipeline

Vous pouvez valider le pipeline pour vérifier les erreurs de syntaxe dans votre code source sans traiter aucune donnée.

Pour valider un pipeline, effectuez l'une des opérations suivantes :

• Dans le coin supérieur droit du Notebook, cliquez sur **Valider**.
• Appuyez sur Shift+Enter dans n'importe quelle cellule de Notebook.
• Dans le menu déroulant d'une cellule, cliquez sur Valider le pipeline .

remarque

Si vous tentez de valider votre pipeline alors qu’une mise à jour existante est déjà en cours, une boîte de dialogue s’affiche pour vous demander si vous souhaitez mettre fin à la mise à jour existante. Si vous cliquez sur **Oui**, la mise à jour existante s’arrête, et une mise à jour de *validation* start automatiquement.

start une mise à jour du pipeline

Pour start une mise à jour de votre pipeline, cliquez sur le bouton Démarrer dans le coin supérieur droit du Notebook. Consultez Exécuter une mise à jour de pipeline.

Affichez le statut d’une mise à jour

Le panneau supérieur du Notebook affiche si une mise à jour du pipeline est :

• Démarrage en cours
• Validation
• Arrêt en cours

Afficher les erreurs et les diagnostics

Après avoir start une mise à jour ou une validation de pipeline, toutes les erreurs sont affichées en ligne avec un soulignement rouge. Survolez une erreur pour voir plus d'informations.

Afficher les événements du pipeline

Lorsqu’un pipeline est attaché, un onglet de Logs d’événements de pipeline est disponible en bas du Notebook.

Afficher le Graphe de flux de données du pipeline

Pour afficher le Graphe du flux de données d'un pipeline, utilisez le tab du Graphe du pipeline en bas du Notebook. La sélection d’un nœud dans le graphe affiche son schéma dans le panneau de droite.

Comment accéder à l'interface utilisateur du pipeline à partir du Notebook

Pour accéder facilement à l'interface du pipeline, utilisez le menu situé dans le coin supérieur droit du Notebook.

Accédez aux logs du driver et à la Spark UI depuis le Notebook

Les logs du Driver et la Spark UI associés au pipeline en cours de développement sont facilement accessibles depuis le menu Affichage du Notebook.