Prévisualisez et affinez les résultats dans Lakeflow Designer
Pendant que vous créez une préparation de données visuelles, Lakeflow Designer prévisualise les résultats de chaque opérateur afin que vous puissiez vérifier votre travail sans exécuter l'intégralité du workflow. Cette page décrit comment lire et contrôler les aperçus, exécuter tout ou partie de la préparation des données visuelles, enregistrer les résultats des opérateurs avec des points de contrôle et affiner les données directement dans la table de résultats.
Utilisez le panneau de sortie
Sélectionnez un opérateur pour afficher ses résultats dans le panneau de sortie en bas de l’écran. Pour la plupart des types d’opérateurs, les données d’entrée se trouvent à gauche et les données de sortie à droite. Les opérateurs qui produisent des résultats non tabulaires, tels que des graphiques, du code HTML ou des images, effectuent le rendu de ces sorties directement dans le panneau de sortie.
Utilisez le contrôle d'affichage dans le volet de sortie pour basculer entre l'entrée et la sortie (default), l'entrée uniquement ou la sortie uniquement. Dans la vue combinée, faites glisser le séparateur pour redimensionner les volets d'entrée et de sortie.
Si l'exécution de l'opérateur sélectionné contient des données de performance, cliquez sur Performance dans le volet de sortie pour ouvrir le profil de query complet.
Contrôlez le volume de données traitées lors des prévisualisations
Le concepteur prévisualise automatiquement les opérateurs. Par default, les opérateurs traitent les 1 000 premières lignes en entrée pour les aperçus. Pour modifier la default, utilisez le menu Aperçu dans la barre d’outils du canevas et sélectionnez N premières lignes pour saisir une nouvelle limite, ou sélectionnez Toutes les lignes . Sélectionnez Appliquer à tous les opérateurs pour effacer le remplacement de Lignes scannées de chaque opérateur afin qu'il utilise la default actuelle.
Utilisez le menu Lignes analysées dans le volet de sortie pour remplacer la default pour un opérateur individuel :
- Lignes analysées : Hériter : utilise la default du menu Prévisualiser .
- Lignes analysées : limite : traite les N premières lignes en entrée. Saisissez la limite de lignes dans le champ à côté du menu.
- Lignes analysées : toutes les lignes : traite toutes les lignes en entrée.
Lorsqu’une prévisualisation traite toutes les lignes, le canevas indique le nombre exact de lignes en sortie de l’opérateur. Pour les opérateurs avec plusieurs sorties, survolez le badge de comptage de lignes pour voir les comptes par sortie.
La génération d'un aperçu avec Lignes analysées : Toutes les lignes relance l'opérateur et ses opérateurs en amont sur le dataset complet et peut prendre beaucoup de temps.
Les limites de prévisualisation ne s’appliquent pas aux jobs planifiés ni à Tout exécuter .
Exécuter la préparation complète des données visuelles
Cliquez sur Tout exécuter pour exécuter chaque opérateur sur la toile par rapport au dataset en une seule action, sans prévisualiser chaque opérateur individuellement. Designer exécute l'intégralité du fichier de préparation des données visuelles et met à jour les résultats de chaque opérateur, puis affiche le nombre exact de lignes de sortie de chaque opérateur en dessous sur la toile.
Le menu Exécuter contient davantage d’actions pour exécuter toute la préparation des données visuelles :
- Cliquez sur
dans l'en-tête du fichier et sélectionnez Exécuter . - Choisir une action :
- Tout exécuter : exécutez l’ensemble de la préparation des données visuelles.
- Interrompre l’exécution : arrête une préparation des données visuelles en cours d’exécution.
- Accéder au dernier opérateur exécuté : mettre au point l’opérateur exécuté le plus récemment.
- Effacer > Effacer toutes les sorties d'opérateur : supprimer les résultats affichés.
- Effacer > Effacer l'état et exécuter tout : efface l'état du compute et réexécute la préparation des données visuelles.
L'effacement nécessite l'autorisation de modifier le fichier de préparation des données visuelles.
Exécuter jusqu’à un opérateur
Faites un clic droit sur un opérateur et sélectionnez Exécuter jusqu’à cet opérateur pour l’exécuter, ainsi que ses opérateurs en amont, sur le dataset, sans limite de lignes dans l’aperçu. Les opérateurs en aval et les Branch déconnectées ne sont pas exécutés.
Configurer les points de contrôle de l’opérateur
Les points de contrôle enregistrent les résultats d'un opérateur afin que les aperçus puissent les réutiliser sans avoir à relancer les opérateurs en amont. Dans le panneau de configuration de l’opérateur, ouvrez les Paramètres de l’opérateur et sélectionnez Point de contrôle :
- Auto : Designer choisit les résultats à enregistrer. Il s'agit de la valeur default pour les nouveaux opérateurs.
- Activé : enregistrez les résultats de cet opérateur.
- Désactivé : ne pas enregistrer les résultats de cet opérateur.
La modification de ce paramètre nécessite l'autorisation de modifier le fichier de préparation de données visuelles, de l'exécuter et de générer des prévisualisations. Les aperçus peuvent réutiliser des résultats enregistrés dans la même session de compute. Tout exécuter , Exécuter jusqu’à cet opérateur et les jobs programmés recalculent les résultats.
Si la création de points de contrôle est indisponible ou échoue, Auto continue sans. Avec Activé , la prévisualisation ou l'exécution échoue.
Transformez les données directement dans la table de résultats
En plus d’ajouter des opérateurs pour transformer vos données, vous pouvez les préparer en agissant directement sur elles dans la table de résultats. Les modifications lors de la prévisualisation ne modifient que l’échantillon de prévisualisation et sont collectées en tant que modifications en attente . Ils ne modifient pas vos données ou votre workflow tant que vous ne les appliquez pas.
Les actions suivantes sont prises en charge lors de la prévisualisation des données :
- Insérer une colonne : sélectionnez Insérer une colonne , puis saisissez un nom et une expression.
- Modifier le type d'une colonne : sélectionnez Modifier le type et choisissez le type cible.
- Supprimer les lignes nulles : sélectionnez Supprimer les nulls pour supprimer les lignes où la colonne est nulle.
- Filtrer les lignes : ajoutez une ou plusieurs conditions de filtrage sur la colonne.
- Renommer une colonne : Double-cliquez sur l'en-tête de colonne et saisissez un nouveau nom.
- Masquer, réorganiser ou supprimer des colonnes : masquez ou supprimez une colonne, ou faites glisser les en-têtes de colonne pour les réorganiser.
- Trier les lignes : ajoutez une direction de tri sur la colonne. Le tri sur plusieurs colonnes s'ajoute à l'ordre de tri.
- Supprimer les lignes en double : sélectionnez Supprimer les doublons , puis choisissez les colonnes à comparer.
Vérifiez et appliquez les modifications en attente
Les modifications en attente s'accumulent dans le volet Modifications en attente . Ouvrez-le pour examiner ou supprimer une modification avant de l’appliquer. Pour modifier une nouvelle colonne en attente, double-cliquez dessus dans l’aperçu et mettez à jour son nom ou son expression.
Pour ajouter les modifications mises en attente à votre workflow, sélectionnez Appliquer à la toile . Lakeflow Designer ajoute des opérateurs pour les modifications mises en attente, dans l'ordre où vous les avez mises en attente. Chaque type de modification est associé au type d'opérateur suivant :
Modification de l'aperçu | Opérateur ajouté à la toile |
|---|---|
Insérer une colonne | |
Modifier le type d'une colonne | |
Supprimer les lignes nulles | |
Filtrer les lignes | |
Supprimer, renommer, réorganiser ou masquer des colonnes | |
Trier les lignes | |
Supprimer les lignes en double |
Si vous basculez la prévisualisation pour traiter le dataset complet alors que des modifications sont en attente, Lakeflow Designer vous invite à les appliquer en premier afin que vos modifications mises en scène ne soient pas perdues.
Inspecter le profil de données
Pour afficher des détails sur une partie de votre sortie, sélectionnez les données à examiner, puis cliquez sur le bouton de barre latérale 
dans le coin supérieur droit du volet de sortie pour ouvrir le volet de détails.
Download les résultats
Utilisez la commande Download dans le volet de sortie pour exporter les résultats de l’aperçu vers un fichier :
- Lignes affichées : download les lignes affichées dans l’aperçu, au format CSV ou Excel.
- Toutes les lignes : download le dataset complet. Disponible lorsque vous avez l'autorisation d'exécuter le workflow. L'export Excel de toutes les lignes nécessite un compute serverless.
Votre administrateur de Workspace peut désactiver les download.