Qu’est-ce que Lakeflow Designer ?

Lakeflow Designer offre un espace visuel permettant aux analystes d’effectuer de l'analytique, de la préparation et de l’automatisation de base des données. Dans Designer, vous créez des fichiers de préparation de données visuelles, constitués chacun d’une séquence d’opérateurs (tels que le filtrage, la jointure et la transformation) agencés sous forme de graphe pour produire un résultat. Toutes les transformations s’appuient sur du code, ce qui vous permet de versionner les fichiers dans Git et de les planifier en tant que jobs pour passer en toute transparence à la production.

Avec Lakeflow Designer, vous pouvez :

• Concevez des workflows à l'aide d'un canevas glisser-déposer.
• Transformez les données sans écrire de code à l’aide d’opérateurs intégrés pour filtrer, agréger, joindre et remodeler les données.
• Utilisez Genie Code pour générer ou affiner les transformations dans votre préparation visuelle des données en utilisant le langage naturel.
• Prévisualisez chaque étape intermédiaire sans exécuter tout le pipeline.

Dans l'image ci-dessus, vous pouvez voir :

1. Le panneau de gauche, avec les menus Opérateurs , Table des matières et Paramètres
2. Un opérateur
3. Une connexion entre deux opérateurs
4. L'espace de dessin en glisser-déposer
5. L'invite Genie Code
6. Le volet de sortie
7. Le profilage des données de la sortie

Concepts clés

Le panneau de gauche

Le panneau de gauche rassemble les menus que vous utilisez pour créer et parcourir une préparation de données visuelles :

• Opérateurs : Parcourez et recherchez les opérateurs intégrés. Faites glisser et déposez les types d'opérateurs de la liste sur le canvas pour les ajouter.
• Parameters : définissez et gérez les parameters pour la préparation visuelle des données.
• Table des matières : Recherchez et naviguez vers n'importe quel opérateur dans la préparation visuelle des données, et affichez le code généré pour chacun. Voir la table des matières.

La toile

Le canevas est le main Workspace où vous ajoutez, configurez et connectez des opérateurs pour construire votre préparation visuelle des données.

Pour naviguer dans la toile :

• Panoramique : maintenez la touche Espace enfoncée tout en cliquant et en faisant glisser, ou glissez deux doigts sur un pavé tactile.
• Zoom : Pincez ou étirez sur un pavé tactile, ou maintenez la touche Ctrl enfoncée et faites défiler.

La barre d’outils du canevas est située dans l’en-tête avec les outils de navigation du canevas : zoom avant, zoom arrière, ajuster la vue, auto-layout, et mode glisser-déposer.

Cliquez avec le bouton droit n'importe où sur la toile pour accéder aux actions courantes, notamment l'ajout d'opérateurs, l'annulation et le rétablissement, l'auto-Layout, l'ajustement de la vue et l'ouverture du panneau de code.

Pour accéder rapidement aux actions de l'éditeur, ouvrez la palette de commandes en appuyant sur Cmd + Shift + P sur macOS ou sur Ctrl + Shift + P sur Windows.

Vous pouvez également glisser-déposer un fichier Excel ou CSV directement sur le canevas pour créer un opérateur Source pour ce fichier.

Opérateurs

Les opérateurs sont les blocs de construction d'une préparation visuelle des données. Un opérateur est une action telle qu'une jointure, une transformation ou un filtre. Vous enchaînez les opérateurs sur le canevas pour créer un workflow. Chaque opérateur est configurable en fonction de son type. Les opérateurs affichent une description générée par l'IA de leur effet ; la modification de la description reconfigure l'opérateur.

Sélectionnez un opérateur pour mettre en surbrillance sa traçabilité sur la toile. Les connexions remontant vers ses sources en amont et descendant vers ses récepteurs en aval sont mises en surbrillance, afin que vous puissiez suivre la manière dont les données atteignent cet opérateur et en sortent.

Lakeflow Designer inclut des opérateurs intégrés pour les tâches courantes de transformations de données. Pour plus de détails, consultez Opérateurs intégrés dans Lakeflow Designer.

Connexions

Les connexions définissent comment les données circulent entre les opérateurs. Pour créer une connexion, faites glisser le port du bord droit d'un opérateur vers le port du bord gauche d'un autre opérateur. Ceci spécifie que les données circulent du premier opérateur vers le second. Les données circulent de gauche à droite via la préparation visuelle des données. Certains opérateurs, tels que Join et Combine , acceptent plusieurs connexions d'entrée.

Les ports de nœuds offrent de grandes cibles de connexion et des repères visuels clairs, de sorte que les opérateurs sont faciles à connecter.

Les ports d'un opérateur signalent également son état de configuration :

• Un opérateur non configuré a une bordure en pointillés.
• Un port d'entrée requis qui n'est pas connecté est surligné en jaune.

Le volet de sortie

Le volet de sortie apparaît en bas de l'écran lorsque vous sélectionnez un opérateur. Sélectionnez un opérateur pour voir les résultats dans la fenêtre de sortie en bas de l'écran. Pour la plupart des types d'opérateurs, les données d'entrée se trouvent à gauche et les données de sortie se trouvent à droite. Les opérateurs qui produisent des résultats non tabulaires, tels que des graphiques, du HTML ou des images, affichent ces sorties directement dans le volet de sortie.

Utilisez le contrôle d'affichage dans le volet de sortie pour basculer entre l'entrée et la sortie (default), l'entrée uniquement ou la sortie uniquement. Dans la vue combinée, faites glisser le séparateur pour redimensionner les volets d'entrée et de sortie.

Vous pouvez également filtrer et transformer les données directement dans la table de résultats, puis appliquer ces modifications à la toile en tant qu’opérateurs. Voir Transformer les données directement dans la table de résultats.

Le concepteur prévisualise les opérateurs automatiquement. Utilisez le menu Preview dans la barre d’outils pour définir le nombre default de lignes d’entrée à traiter pour les aperçus, ou le menu Rows scanned dans le volet de sortie pour remplacer cette valeur pour un opérateur spécifique. Voir Aperçu des résultats.

Le profilage des données

Pour afficher les détails d'une partie de votre sortie, sélectionnez les données que vous souhaitez inspecter, puis cliquez sur le bouton de la barre latérale situé dans le coin supérieur droit du volet de sortie pour ouvrir le panneau de détails.

Genie Code

Genie Code vous permet de décrire des transformations en langage naturel. Toutes les interactions sont agentiques et utilisent le contexte de la plateforme Databricks. See Genie Code.

Saisissez une invite pour générer ou modifier les Transformations. Pour consulter l'historique des interactions avec Genie Code et obtenir plus de détails sur chaque réponse, ouvrez le volet latéral Genie Code en cliquant sur dans la barre latérale droite. Lorsque le volet latéral est ouvert, la barre d'outils du canevas est réduite. Genie Code affiche un résumé d'une ligne de sa modification la plus récente au-dessus de la zone de saisie.

Table des matières

Le menu Table des matières dans le panneau de gauche répertorie chaque opérateur de la préparation visuelle des données. Recherchez par nom d’opérateur ou par valeur dans la configuration d’un opérateur, telle qu’un nom de colonne. Pour les correspondances de configuration, Designer affiche les chemins de configuration correspondants sous l’opérateur. Sélectionnez un opérateur pour le cibler sur la toile. Chaque préparation visuelle des données est prise en charge par du code généré. Pour inspecter le code d’un opérateur, sélectionnez-le dans la table des matières, puis développez la section Code généré pour afficher son code sous-jacent.

parameter

Les parameters sont des valeurs nommées définies pour l’ensemble de la préparation de données visuelles. Vous pouvez les référencer dans le code des opérateurs SQL et Python ou les utiliser dans les champs de configuration pris en charge pour les opérateurs Source et Sortie. Pour gérer les parameter, sélectionnez parameter dans le panneau de gauche.

Chaque paramètre a une valeur que vous définissez lorsque vous le créez. Lorsque vous planifiez l'exécution de la préparation des données visuelles, vous pouvez éventuellement remplacer ces valeurs pour chaque planification. Par exemple, vous pourriez planifier l'exécution de la même préparation des données visuelles tous les jours à midi avec un paramètre environment défini sur test, et de nouveau à 14 h avec environment défini sur production.

Référencez un paramètre d'un opérateur comme suit :

• Opérateur SQL : utilisez la syntaxe des marqueurs de paramètres nommés, comme :environment. Voir Utiliser les marqueurs de paramètres nommés.
• Opérateur Python : appelez dbutils.widgets.get(), tel que dbutils.widgets.get("environment"). Consultez l'outil Widgets (dbutils.widgets).
• Opérateur Source ou Sortie : ouvrez le volet de configuration de l'opérateur et sélectionnez le bouton Paramètres dans le coin supérieur droit. Sélectionnez un champ de configuration, puis saisissez une expression qui fait référence à un paramètre, tel que :source_table. Les opérateurs de source prennent en charge les champs de table, de chemin d'accès de fichier et de format de fichier. Les opérateurs de source prennent en charge les champs de catalogue, de schéma, de table, de vue, de volume, de nom de fichier et de mode d’écriture.

Dans une expression de parameter pour un opérateur Source ou Output, utilisez :parameter_name pour remplacer une valeur entière. Pour combiner des parameters avec du texte fixe, entourez le texte de guillemets simples et utilisez ||. Par exemple, l'expression de Table source suivante construit un nom de table entièrement qualifié :

:catalog || '.' || :schema || '.' || :table

Lorsque vous ouvrez un opérateur SQL ou Python pour modification, Lakeflow Designer affiche un exemple de la manière de référencer les paramètres disponibles au-dessus de l'éditeur source.

Ressources supplémentaires

• Créez une préparation des données visuelles dans Lakeflow Designer
• Importez des données dans Lakeflow Designer
• Opérateurs intégrés dans Lakeflow Designer