Opérateurs intégrés dans Lakeflow Designer
Lakeflow Designer comprend des opérateurs intégrés pour les tâches courantes de préparation et de transformation des données. Ouvrez le panneau Opérateurs à gauche pour parcourir les opérateurs par catégorie, ou utilisez Rechercher un opérateur... en haut du panneau. La recherche d'opérateurs suggère des opérateurs en fonction de votre intention. Par exemple, en tapant average by month, vous obtenez l'opérateur Agrégat . Voir Trouver des opérateurs avec la recherche AI. Pour configurer un opérateur après l'avoir ajouté à la toile, double-cliquez dessus, ou survolez-le et cliquez sur 
( Modifier l'opérateur ), pour ouvrir le panneau de configuration.
Chaque opérateur affiche une description générée par l'IA de ce qu'il fait. La description agit également comme un éditeur pour l'opérateur : la modification de la description reconfigure l'opérateur afin qu'il corresponde à votre description.
Si aucun opérateur intégré ne correspond à votre tâche, vous pouvez créer votre propre opérateur.
Entrée et sortie
Source
Importe les données dans Designer depuis une table Unity Catalog ou une autre source prise en charge. Pour sélectionner une source, recherchez une table ou un fichier par nom, ou naviguez par catalogue et schéma. Vous pouvez également créer une nouvelle table à partir de ce volet.
Après avoir sélectionné une table, le volet affiche le nom de la table, son propriétaire et l'heure de la dernière mise à jour. Cliquez sur Sélectionner une nouvelle source de données pour changer la source. La modification de la source invalide le cache de sortie pour tous les opérateurs en aval.
Vous pouvez également utiliser une vue métrique Unity Catalog comme source. Lorsque vous sélectionnez une vue métrique, sélectionnez les dimensions et les mesures à inclure, et Designer génère la query agrégée pour vous.
Pour toutes les options d'ingestion de données, y compris le ciblage d'un volume ou d'un dossier Unity Catalog entier, consultez Ingérer des données dans Lakeflow Designer.
Saisie des données
Crée une table en saisissant des valeurs dans un éditeur de type feuille de calcul. Utilisez cet opérateur pour ajouter de petites quantités de données de référence, telles que des valeurs de recherche ou des données de test, sans créer de table source distincte.
Champ | Description |
|---|---|
Données de la table | Saisissez vos données sous forme de tableau. La première ligne définit les en-têtes de colonne, et les lignes restantes constituent les données. Designer infère le type de données de chaque colonne à partir de ses valeurs. |
Résultat
Exporte des données depuis Designer. L’opérateur de sortie peut écrire les résultats dans une table Unity Catalog, les publier en tant que vue matérialisée ou les écrire dans un fichier dans un volume Unity Catalog, Google Drive ou SharePoint. Dans Type de sortie , sélectionnez Table , Vue matérialisée ou Fichier . Pour une sortie de fichier, sélectionnez l’emplacement d’écriture dans Destination .
Type de sortie | Description |
|---|---|
Table | Écrit les résultats dans une table gérée Unity Catalog. Définissez un **nom de table** et un **emplacement de sortie** (catalogue et schéma), puis sélectionnez un **mode d'écriture**. |
Vue matérialisée | Publie les résultats sous forme de vue matérialisée dans Unity Catalog qui refresh lorsque la préparation visuelle des données s'exécute. |
Fichier | Écrit les résultats au format CSV, Excel ou JSON. Sélectionnez la destination , le type de fichier et le nom du fichier . |
Pour les sorties de Table ou les sorties de Fichier dans un volume Unity Catalog, sélectionnez un Mode d'écriture :
Mode d'écriture | Description |
|---|---|
Remplacer | Remplace le contenu existant par les résultats de l'exécution actuelle. C'est le default. |
Ajouter | Ajoute les résultats de l'exécution actuelle aux lignes existantes. |
Merge | Insère ou met à jour des lignes dans la table cible en faisant correspondre les clés de Merge que vous spécifiez. Disponible pour les sorties de table. |
Cliquez sur Exécuter pour exécuter la préparation des données visuelles et écrire les résultats. Pour une sortie de table, si la table n'existe pas, l'opérateur la crée. Les exécutions planifiées écrivent vers la destination en utilisant le même mode d'écriture.
Après qu’un opérateur de Sortie a écrit une table, une vue matérialisée ou un fichier de volume Unity Catalog, connectez son port sortant pour poursuivre le flux de travail. Pour les tables, les vues matérialisées et les sorties de fichier unique brut, le port sortant lit directement depuis l’asset persistant que l’opérateur de Sortie vient d’écrire. Pour les sorties divisées, les écritures de plage Excel et les fichiers sans en-tête, le port sortant transmet les lignes d’entrée.
Pour les sorties de fichiers dans un volume Unity Catalog, développez Avancé pour configurer les options suivantes :
- Diviser par valeurs distinctes : sélectionnez une colonne pour écrire un fichier pour chaque valeur distincte. Pour la sortie Excel, vous pouvez plutôt écrire chaque valeur sur une feuille de calcul distincte dans un seul classeur. Une exécution peut créer jusqu’à 50 fichiers ou feuilles de calcul.
- Sheet name : For Excel output, set the target worksheet.
- Inclure la ligne d'en-tête : inclure les noms de colonnes dans la sortie CSV ou Excel.
- Cell range : pour une sortie Excel en mode Overwrite , définissez la cellule de départ et une cellule de fin facultative. Designer préserve la mise en forme en dehors de la plage et interrompt l'exécution si les données ne correspondent pas à une plage fixe. Vous ne pouvez pas associer une plage de cellules à l'option Split by distinct values .
Lorsque le mode Overwrite fragmente la sortie en plusieurs fichiers, Designer supprime les fichiers existants qui correspondent au modèle de nom généré. Cela peut inclure des fichiers créés manuellement avec le même modèle dans le dossier du volume.
Pour écrire un fichier sur Google Drive ou SharePoint :
- Définissez Type de sortie sur Fichier et Destination sur Google Drive ou Microsoft 365 pour SharePoint.
- Activez le connecteur Genie Code correspondant et sélectionnez Connecter si vous y êtes invité. Connectez-vous avec un compte disposant des droits d’écriture sur le dossier de destination.
- Dans URL du dossier , collez le Link vers le dossier Google Drive ou SharePoint. Dans SharePoint, obtenez le Link avec Copier le lien .
- Saisissez un Nom de fichier , choisissez un Type de fichier et cliquez sur Exécuter .
Chaque exécution crée le fichier ou remplace le contenu complet du fichier existant portant le même nom, y compris toutes les feuilles de calcul Excel. L'export doit tenir dans un seul fichier d'un maximum de 2,75 Mio. Les aperçus montrent les données d'entrée sans écrire le fichier. Les exécutions planifiées utilisent le compte de l'utilisateur exécutant et les identifiants du connecteur.
Nettoyer
Filtrer
Divise les lignes selon qu'elles remplissent une ou plusieurs conditions, à l'aide d'un générateur de conditions graphique.
Champ | Description |
|---|---|
État | Pour chaque condition, sélectionnez une colonne , un type de condition et une valeur à faire correspondre de manière conditionnelle. Types de conditions pris en charge :
Pour les conditions sur les colonnes de date, le sélecteur de dates permet de naviguer entre les années et les mois. Lorsqu'une condition correspond aux valeurs d'une colonne (par exemple, Est l'un des ), la liste de valeurs affiche un échantillon des valeurs distinctes de la colonne en fonction de l'entrée. Sélectionnez Charger plus pour récupérer des valeurs supplémentaires à la demande. |
Pour combiner des conditions et organiser des filtres complexes :
- Cliquez sur Ajouter une condition et configurez la colonne, l’opérateur et la valeur.
- Sélectionnez Tout pour exiger que chaque condition corresponde, ou N’importe quel pour exiger qu’au moins une corresponde.
- Pour imbriquer des conditions, ouvrez
( Options de condition ) de la condition et sélectionnez Convertir en groupe . Ajoutez des conditions dans le groupe et choisissez Tout ou N'importe lequel pour ce groupe. Par exemple, exigez qu’une ligne corresponde à une condition de région et à l’une des nombreuses conditions de statut. - Cliquez sur Appliquer pour appliquer le filtre.
Pour inverser une condition, ouvrez son ( Options de condition ) et sélectionnez Inverser la condition . Pour supprimer l’imbrication d’un groupe, ouvrez le menu du groupe et sélectionnez Dégrouper .
Pour réorganiser les conditions, cliquez sur 
( Réorganiser les conditions ), faites glisser les conditions dans la position souhaitée et cliquez sur Terminé .
L'opérateur de filtre a deux sorties afin que vous puissiez Branch les données selon qu'elles remplissent les conditions :
Résultat | Description |
|---|---|
Inclus | Lignes qui satisfont aux conditions de filtre. |
Exclus | Les lignes qui ne répondent pas aux conditions de filtre, y compris les lignes où la condition est évaluée à null. |
Garde-fous
Valide les données entrantes par rapport à une liste ordonnée de vérifications et sépare les lignes valides des lignes en échec.
Champ | Description |
|---|---|
Vérifications | Ajoutez des contrôles Required columns , Row count , Not null , Unique , Accepted values , Disallowed values , Value range , Regex match ou Expression . |
Lorsqu’un contrôle échoue | Choisissez l'une des trois options pour contrôler la sortie et le comportement en aval. |
-
Avertir et continuer avec les lignes validées :
- L’exécution en aval se poursuit.
- Les lignes qui réussissent toutes les vérifications activées sont envoyées vers Réussite .
- Les lignes qui échouent à au moins un contrôle activé sont envoyées vers Échoué .
- Errors contient une ligne pour chaque vérification ayant échoué, incluant son type, sa sévérité et son message.
-
Sortie validée avec avertissement et blocage :
- Si une vérification échoue, l'exécution en aval se poursuit, mais Passed ne contient aucune ligne.
- Échec contient toujours les lignes en échec, et Erreurs contient toujours les détails de l’échec.
- Utilisez cette option pour empêcher le traitement en aval des lignes validées tout en autorisant le traitement en aval des statuts Failed et Errors .
-
Échouer le workflow :
- Si une vérification échoue, l'exécution s'arrête avant que les opérateurs en aval ne s'exécutent.
- Elles ne reçoivent pas les sorties Passed , Failed ou Errors .
- Dans un Job planifié, l'exécution est marquée comme ayant échoué, ce qui peut Trigger la gestion des échecs configurée, telle que les notifications de Job.
Lorsque vous prévisualisez l'opérateur Guardrails lui-même, vous pouvez toujours inspecter les trois sorties en mode Fail the workflow .
Pour conserver les lignes d'une sortie dans l'un ou l'autre des modes d'avertissement, connectez-la à un opérateur de sortie.
Limite
Limite le nombre de lignes en ne transmettant que jusqu'au nombre maximal de lignes que vous spécifiez.
Champ | Description |
|---|---|
Nombre maximal de lignes | Spécifiez le nombre maximal de lignes à faire transiter. |
Préparer
Nettoie et dérive les colonnes en enchaînant une ou plusieurs actions sur les données d'entrée. Cliquez sur + Ajouter une action et sélectionnez une action. Ajoutez autant d'actions que vous le souhaitez. Elles s'appliquent dans l'ordre.
Action | Description |
|---|---|
Formule | Créez une nouvelle colonne ou écrasez une colonne existante à l'aide du langage naturel ou d'une expression SQL. |
Formule multi-colonnes | Appliquez une expression SQL aux colonnes sélectionnées en utilisant |
Changer le type | Convertir une colonne vers un autre type de données. |
Remplacer la valeur | Rechercher et remplacer des valeurs dans une colonne. |
Remplir les valeurs nulles | Remplacez les valeurs nulles par une constante. |
Casse du texte | Modifier la casse en minuscules, majuscules ou titre. |
Tronquer | Supprimer les espaces à une ou aux deux extrémités. |
Remplacement Regex | Remplacer le texte correspondant à un modèle regex. |
Extraire | Extraire une sous-chaîne correspondant à un groupe regex. |
Analyser la date | Analyser une chaîne en date ou en Timestamp. |
Analyser JSON | Extraire des lignes ou des colonnes de données JSON. |
Renommer les colonnes | Renommer plusieurs colonnes avec un préfixe, un suffixe, un changement de casse ou une recherche et remplacement. |
Toutes les actions sauf Formule et Analyser JSON prennent en charge plusieurs colonnes.
Pour supprimer une action, survolez sa ligne et cliquez sur 
.
Colonnes personnalisées
L'action Formule ouvre l'éditeur d'expressions, où vous pouvez créer une nouvelle colonne ou écraser une colonne existante en utilisant le langage naturel ou le code SQL. L'éditeur a deux zones de saisie et est bidirectionnel :
- Description : saisissez une description en langage naturel de ce que vous voulez que la colonne fasse. Designer utilise Genie Code pour générer l'expression de code correspondante ci-dessous.
- Expression : si vous préférez écrire ou modifier du code directement, cliquez sur le bouton de modification de l'expression. La modification de l’expression génère automatiquement une description en langage naturel.
Dans l’éditeur d’expressions, tapez @ pour ouvrir un menu des colonnes d’entrée de l’opérateur et des fonctions SQL intégrées. Tapez après @ pour filtrer la liste, puis sélectionnez une entrée pour l’insérer : une colonne insère son nom, et une fonction insère son appel avec le curseur placé à l’intérieur des parenthèses. Le même menu @ est disponible dans les éditeurs d’expressions d’autres opérateurs, tels que les conditions personnalisées de filtre et de jointure.
Les actions de préparation fonctionnent sur une ligne à la fois. Pour compute une colonne à partir des valeurs dans d'autres lignes, comme un cumul ou la valeur de la ligne précédente, utilisez Formule multi-lignes.
Sélectionner
Sélectionne, renomme et réorganise les colonnes des données d’entrée.
Champ | Description |
|---|---|
Inclure ou exclure des colonnes | Sélectionnez Start with all columns ou Start with no columns , puis utilisez les cases à cocher pour inclure ou exclure des colonnes individuelles. Faire glisser les colonnes pour les réorganiser. |
Renommer une colonne | Saisissez un nouveau nom dans le champ Renommer à côté de n’importe quelle colonne. |
Sélectionner des colonnes dynamiquement | Au lieu de choisir les colonnes individuellement, sélectionnez-les selon une règle afin que la sortie s’adapte à mesure que le schéma d’entrée change. Choisissez de conserver les colonnes correspondantes ou de supprimer les colonnes correspondantes , puis faites correspondre les colonnes par :
|
Trier
Ordonne les lignes sur une ou plusieurs colonnes.
Champ | Description |
|---|---|
Ordre de tri | Sélectionnez **ASC** (croissant) ou **DESC** (décroissant) pour chaque colonne. Cliquez sur **+ Ajouter une expression de tri** pour trier par des colonnes supplémentaires. Le tri suit l'ordre lexical standard. |
Unique
Supprime les lignes en double des données d’entrée. By default, l’opérateur élimine les doublons sur toutes les colonnes. Vous pouvez plutôt choisir un sous-ensemble de colonnes comme clé et trier les lignes pour contrôler quel doublon est conservé.
Champ | Description |
|---|---|
Unique par | Sélectionnez Toutes les colonnes pour supprimer les lignes identiques dans toutes les colonnes, ou Colonnes sélectionnées pour supprimer les lignes qui sont des doublons uniquement dans les colonnes que vous choisissez comme clé. |
Trier par | Facultatif : sélectionnez une ou plusieurs colonnes et une direction de tri pour contrôler quelle ligne est conservée pour chaque ensemble de doublons. Si vous ne définissez pas d'ordre, l'opérateur conserve la première ligne qu'il rencontre. |
Combiner
Combiner
Combine les données de plusieurs tables en une seule sortie en utilisant une opération ensembliste.
Champ | Description |
|---|---|
Opération d'ensemble | Sélectionnez Union , Intersection ou À l'exception de . |
Merge strategy | Sélectionnez **Distinct** pour exclure les lignes dupliquées de la sortie, ou **All** pour conserver toutes les lignes, y compris les doublons. |
Relier par nom | Pour Union , sélectionnez Union by name sous Advanced pour faire correspondre les colonnes par nom plutôt que par position. |
Autoriser les colonnes manquantes | Pour Union , sélectionnez d’abord Relier par nom , puis sélectionnez Autoriser les colonnes manquantes pour remplir les colonnes absentes d’une entrée avec des valeurs nulles. Si cette option est désactivée, chaque entrée doit contenir le même ensemble de colonnes. |
Jointure
Link les tables en combinant les dataset d'entrée sur la base de valeurs de colonnes correspondantes.
Champ | Description |
|---|---|
Tables d’entrée | Sélectionnez les deux tables d'entrée à joindre. Pour joindre trois tables ou plus, développez Advanced options , sélectionnez Join more than two tables , puis cliquez sur Add input pour chaque table supplémentaire. |
Condition de jointure | Spécifiez au moins une condition de jointure en sélectionnant des colonnes correspondantes dans deux tables. Cliquez sur + Ajouter une expression de jointure pour ajouter d’autres conditions. Facultatif : cliquez sur la flèche entre deux tables pour ajouter une condition de jointure personnalisée, puis modifiez la description générée par l’IA ou rédigez du SQL. S’il y a trois entrées ou plus, chaque table ajoutée doit définir une relation avec une autre entrée. |
Respecter la casse | Lorsque désactivé (default), les clés de jointure de chaîne ne respectent pas la casse (et ignorent les espaces blancs de début et de fin). Activez l'option **Respecter la casse** pour que les clés de chaîne correspondent exactement. Cette option s'applique aux clés de jointure, non aux conditions de jointure personnalisées. |
Type de jointure | Pour deux tables d’entrée, sélectionnez le type de jointure. Par default, l’opérateur de jointure répartit ses résultats sur trois sorties (voir la section suivante). Sélectionnez Full join , Inner join , Left join ou Right join pour produire à la place une seule sortie jointe. Avec trois entrées ou plus, l’opérateur suit les relations de table configurées, utilise des jointures internes et produit une seule sortie jointe. |
Colonnes de sortie | Facultatif : sélectionnez les colonnes à inclure. By default, les colonnes de chaque table d'entrée sont incluses. Avec deux entrées, les noms en double de la table de droite reçoivent un préfixe |
Colonnes d'expression personnalisée | Facultatif : ajoutez des colonnes d'expression personnalisées basées sur le résultat joint. |
Avec deux entrées, l'opérateur Join a trois sorties default afin de pouvoir Branch un workflow sur la base des résultats de la jointure :
Résultat | Description |
|---|---|
Non apparié à gauche | Lignes de l'entrée gauche qui n'ont pas de correspondance dans l'entrée droite. |
Correspondant | Lignes qui correspondent aux deux entrées. |
Droit non apparié | Lignes de l'entrée de droite qui n'ont pas de correspondance dans l'entrée de gauche. |
Avec deux entrées, la sélection d'un type de jointure spécifique (externe, interne, à gauche ou à droite) produit une seule sortie jointe au lieu des trois sorties fractionnées.
Transformer
Fonction IA
Exécute une opération d'IA intégrée sur vos données. Dans le volet de configuration, ouvrez Sélectionner une fonction et sélectionnez l'une des fonctions dans le tableau suivant. Chaque fonction présente des options dans le volet pour les entrées (par exemple : colonnes, invites, étiquettes ou langues) et les sorties.
Fonction | Description |
|---|---|
| Effectue une analyse des sentiments sur le texte saisi. |
| Classe les textes ou les documents analysés à l'aide des étiquettes que vous fournissez. |
| Répond aux questions sur une colonne de texte ou VARIANT, telle qu'une sortie de document analysée, avec des probabilités, des choix ou des scores. |
| Extrait des données structurées à partir de texte ou de documents analysés à l'aide de champs que vous définissez. |
| Corriger les erreurs grammaticales dans le texte. |
| Prévoit les données de séries chronologiques jusqu'à un horizon et une fréquence que vous spécifiez. |
| Répond à une invite fournie par l'utilisateur par rapport à l'entrée. |
| Masque les entités spécifiées dans le texte (par exemple, pour la désidentification). |
| Extrait le texte, les tableaux et la Layout de documents non structurés. |
| Transforme la sortie des documents analysés en blocs prêts à être recherchés pour la recherche vectorielle et les pipelines de génération augmentée de récupération (RAG). |
| Répond à une invite à l'aide de n'importe quel modèle de fondation pris en charge, pour les tâches à usage général et la flexibilité des modèles. |
| Compare deux chaînes de caractères et renvoie un score de similarité sémantique. |
| Génère un résumé de texte. |
| Traduit le texte dans une langue cible que vous spécifiez. |
Sélectionnez Nettoyer les sorties pour utiliser les valeurs de réponse de ai_classify, ai_extract, ai_decide ou ai_query dans les opérateurs en aval. Pour ai_query, le nettoyage s’applique lorsque la fonction utilise failOnError => false. L’option n’est pas disponible pour les fonctions évaluées par table telles que ai_forecast. Les autres sorties de fonction restent inchangées.
Pour chaque sortie nettoyée nommée answer, l’opérateur renvoie :
answer: La réponse nettoyée. Pourai_extractavec un champ ouai_decideavec une question, il s'agit de la valeur saisie. Plusieurs champs ou questions produisent une structure.answer_ai_error: le message d'erreur lorsque la fonction échoue, ou nul lorsque celle-ci réussit. Une ligne ayant échoué possède une réponse nulle.answer_raw: La réponse complète, y compris les métadonnées, à des fins d'inspection ou de dépannage.
Pour plus de détails sur chaque fonction, consultez Transformer des données non structurées à l'aide des AI Functions.
Agréger
Récapitule les lignes en regroupant les données et en calculant les valeurs agrégées.
Champ | Description |
|---|---|
Agréger par | Cliquez sur + Ajouter une agrégation , sélectionnez une ou plusieurs colonnes et sélectionnez une fonction d'agrégation. La sélection de plusieurs colonnes crée une ligne d'agrégation distincte pour chaque colonne. Modifiez chaque ligne pour ajuster sa fonction ou son nom de sortie. Fonctions prises en charge : |
Regrouper par | Sélectionnez les colonnes à regrouper par. Cliquez sur + Ajouter un regroupement pour en ajouter davantage. Les colonnes utilisées dans Regrouper par sont automatiquement incluses dans la sortie. |
Formule multi-lignes
compute de nouvelles colonnes à partir des valeurs dans d'autres lignes, telles que les totaux cumulés, les numéros de ligne et les ID d'enregistrement, les classements, les valeurs précédentes et suivantes, les différences entre les lignes et les moyennes mobiles. Utilisez Formule multi-lignes lorsqu'un calcul dépend des lignes voisines. Pour les calculs qui utilisent uniquement les valeurs de la ligne actuelle, utilisez Préparer. Vous pouvez également trouver l'opérateur en recherchant Record ID dans le menu des opérateurs.
L'opérateur contient une liste ordonnée de formules. Les formules s'exécutent de haut en bas, et chaque formule ajoute une colonne à la sortie. Si le nom de colonne d’une formule correspond à une colonne existante, la formule remplace cette colonne. Si la liste est vide ou si chaque formule est désactivée, l’opérateur transmet son entrée sans modification.
Chaque type de formule a un champ Nouveau nom de colonne . Chaque type à l’exception de Expression personnalisée a également Trier par et Grouper par , qui définissent la fenêtre de lignes que la formule examine :
Champ | Description |
|---|---|
Nouveau nom de colonne | Obligatoire. Le nom de la colonne que la formule crée ou remplace. |
Trier par | Obligatoire. Une ou plusieurs colonnes, chacune avec un sens de tri Croissant ou Décroissant , qui définissent l'ordre des lignes. L’ordre définit quelles lignes viennent avant et après la ligne actuelle. Cliquez sur Ajouter une colonne de tri pour ajouter d'autres colonnes. |
Regrouper par | Facultatif. Colonnes qui redémarrent le calcul pour chaque valeur distincte, par exemple, un total cumulatif pour chaque client. Si vous n’ajoutez pas de colonne de regroupement, le calcul s’exécute sur l’ensemble de la table. Cliquez sur Ajouter une colonne de regroupement pour ajouter d’autres colonnes. |
Si deux lignes ou plus partagent les mêmes valeurs Trier par , leur ordre relatif n’est pas fixe. Par conséquent, les formules peuvent renvoyer des résultats différents pour ces lignes d’une exécution à l’autre. Pour obtenir le même résultat à chaque exécution, ajoutez une deuxième colonne Commander par qui rend la position de chaque ligne unique, comme une colonne ID.
Types de formules
La table suivante décrit chaque type de formule et ses champs, en plus des champs partagés :
Type de formule | Champs | Description |
|---|---|---|
Agrégat en cours | Agrégat : Somme (default), Moyenne , Minimum , Maximum ou Nombre . De la colonne : la colonne à agréger. | Compute une valeur cumulative à partir de la première ligne du groupe jusqu’à la ligne actuelle. Les lignes qui partagent les mêmes valeurs Trier par s’accumulent toujours une ligne à la fois. Compter compte les valeurs non nulles de la colonne. |
Numéro de ligne / rang | Mode :
start : Le numéro donné à la première ligne de chaque groupe. Les lignes ultérieures comptent à partir de celle-ci. La valeur default est 1, et 0 ainsi que les nombres négatifs sont autorisés. Une valeur comprise entre -2 147 483 648 et 2 147 483 647 produit une colonne entière, et toute autre valeur produit une colonne entière de 64 bits. Type de sortie : Numéro (default) écrit les numéros en tant que colonne entière ou entière 64 bits, en fonction de Start at . Texte écrit les mêmes numéros sous forme de texte. | Numérote ou classe les lignes dans chaque groupe, en fonction de Trier par . Utilisez le numéro de ligne pour ajouter un ID d’enregistrement, par exemple, des ID qui start à 1001. En mode Numéro de ligne , les colonnes Ordre par déterminent quelle ligne reçoit quel numéro. Pour obtenir les mêmes nombres à chaque exécution, triez par une colonne unique pour chaque ligne, comme un ID ou un timestamp. Si aucune colonne unique n’existe, triez par plusieurs colonnes, par exemple toutes, afin que seules les lignes exactement identiques puissent être ex æquo. Dans les modes de classement, les lignes ex æquo partagent par conception un même rang. |
Valeur d'une autre ligne | Direction : Décalage (ligne précédente) (default) ou Avance (ligne suivante) . De la colonne : colonne à lire. Lignes éloignées : nombre de lignes avant ou après la ligne actuelle à lire. La valeur par default est 1. Si aucune ligne de ce type : Null (default), Zéro ou Valeur actuelle de la ligne . | Renvoie la valeur d’une colonne d’une autre ligne du même groupe. Si une telle ligne n’existe pas , définit la valeur pour les lignes proches du start ou de la fin d’un groupe, là où l’autre ligne n’existe pas. Si l’autre ligne existe mais que sa valeur est nulle, le résultat est nul. |
Différence par rapport à la ligne précédente | De la colonne : Une colonne numérique. Lignes en arrière : nombre de lignes en arrière à soustraire. La valeur par default est 1. | Renvoie la valeur de la ligne actuelle moins la valeur de Lignes en arrière lignes plus tôt dans le même groupe. Les premières lignes de chaque groupe n’ont pas de ligne antérieure, leur résultat est donc nul. |
Moyenne mobile | De la colonne : Une colonne numérique. Fenêtre (lignes) : Le nombre de lignes à moyenner, y compris la ligne actuelle. La valeur default est 3. | Calcule la moyenne de la ligne actuelle et des lignes précédentes dans le même groupe. Vers le start d’un groupe, où il y a moins de lignes disponibles, la formule calcule la moyenne des lignes existantes. Par exemple, avec une fenêtre de 3, la première ligne renvoie sa propre valeur et la deuxième ligne renvoie la moyenne des deux premières lignes. |
Lissage exponentiel | De la colonne : Une colonne numérique. Facteur de lissage (α) : une valeur supérieure à 0 et au maximum égale à 1. La valeur par default est 0,3. Une valeur plus élevée suit plus étroitement les lignes récentes, tandis qu'une valeur plus faible lisse davantage. | compute une moyenne mobile pondérée exponentiellement. La première ligne de chaque groupe renvoie sa propre valeur. Chaque ligne ultérieure renvoie α × (valeur de la ligne) + (1 − α) × (résultat de la ligne précédente). Les lignes avec une valeur nulle sont ignorées, de sorte qu'elles renvoient le résultat des lignes précédentes. Un facteur de lissage de 1 renvoie les valeurs de la colonne sans modification. |
Expression personnalisée | Expression : une expression Spark SQL. Ce type de formule ne contient pas de champs Order by ou Group by . | Évalue une expression que vous écrivez, généralement une fonction de fenêtre avec sa propre clause |
Pour Différence avec la ligne précédente , Moyenne mobile et Lissage exponentiel , De la colonne ne liste que les colonnes numériques. Lignes éloignées , Lignes en arrière et Fenêtre (lignes) acceptent des nombres entiers de 1 ou plus. Une fraction est arrondie à l’entier inférieur, et un nombre inférieur à 1, un champ vide ou une valeur qui n’est pas un nombre utilise 1. Un Facteur de lissage (α) en dehors de la plage autorisée utilise 0,3. start à accepte n’importe quel nombre entier, et un champ vide utilise 1. Si vous entrez une fraction dans start à , le champ affiche La valeur est hors plage et Appliquer n’est pas disponible.
Les conditions suivantes provoquent le renvoi d'une erreur par l'opérateur lorsqu'il s'exécute :
- Une Colonne Of qui n'est pas dans les données d'entrée, par exemple, après qu'un opérateur en amont l'a renommée ou supprimée.
- Lissage exponentiel sur une colonne décimale. Pour lisser des valeurs décimales, commencez par convertir la colonne en double, par exemple avec l’action Préparer Changer de type .
- Lissage exponentiel avec un très faible facteur de lissage, inférieur à environ 0,002. Utilisez une valeur plus élevée.
- La numérotation Numéro de ligne / rang qui dépasse 2 147 483 647, la valeur la plus élevée qu’une colonne entière peut contenir, lorsque Start at est de 2 147 483 647 ou moins. Utilisez une valeur Start at plus petite.
Configurer des formules
Pour configurer la liste des formules dans le panneau de configuration, utilisez les contrôles suivants :
- Ajouter une formule : Cliquez sur Ajouter une formule et sélectionnez un type de formule. La nouvelle formule apparaît à la fin de la liste avec un nom de colonne default, tel que
running_total, et son éditeur s’ouvre. - Modifier une formule : cliquez sur une formule dans la liste pour ouvrir son éditeur. Chaque formule affiche son type et un résumé en une ligne, comme
customer_running_total = sum(amount) (by customer_id; ordered by order_date). Pour Numéro de ligne / rang , le résumé affiche également un start à différent de 1 et un type de sortie Texte , commerecord_id = row_number() from 1001 as text (ordered by order_id). L'éditeur reste ouvert pendant que vous travaillez sur le canevas. Pour le fermer, cliquez sur
l'icône de fermeture. - Réorganiser les formules : faites glisser une formule vers le haut ou vers le bas. Comme les formules s’exécutent dans l’ordre, déplacez une formule sous toute formule dont elle utilise la colonne.
- Désactiver ou activer une formule : passez la souris sur une formule et cliquez sur son commutateur. Une formule désactivée reste dans la liste mais ne s'exécute pas.
- Dupliquer ou supprimer une formule : survolez une formule, cliquez sur le menu kebab et sélectionnez Dupliquer ou Supprimer .
Pour enregistrer vos modifications, cliquez sur Appliquer . Si un champ requis est manquant dans une formule activée, Appliquer n'est pas disponible et un message à côté identifie les champs ou les formules à remplir.
Si vous n’avez pas l’autorisation de modifier la préparation visuelle des données, vous pouvez afficher la liste des formules et leurs résumés, mais vous ne pouvez pas les ouvrir, les ajouter, les réorganiser ou les modifier.
Exemple : cumuls et modifications pour chaque client
Cet exemple utilise une table orders avec une ligne pour chaque commande :
order_id | customer_id | date_de_commande | amount |
|---|---|---|---|
1 | 101 | 01/01/2026 | 100,0 |
2 | 101 | 2026-01-03 | 50,0 |
3 | 102 | 02/01/2026 | 200,0 |
4 | 101 | 05/01/2026 | 75,0 |
5 | 102 | 04/01/2026 | 125,0 |
6 | 103 | 2026-01-03 | 300,0 |
Pour compute le total cumulé, le montant de la commande précédente et la différence par rapport à la commande précédente de chaque client, ajoutez un opérateur Multi-Row Formula après la source orders et configurez les formules suivantes. Chaque formule utilise Ordre par order_date ( Croissant ) et Grouper par customer_id:
- Ajoutez une formule Agrégat cumulé . Définissez Nouveau nom de colonne sur
customer_running_total, Agrégat sur Somme et De colonne suramount. - Ajoutez une formule Valeur d'une autre ligne . Définissez Nouveau nom de colonne sur
previous_amount, Direction sur Décalage (ligne précédente) , De la colonne suramountet Lignes de distance sur 1. Laissez Si aucune ligne de ce type défini sur Null . - Ajoutez une formule Différence par rapport à la ligne précédente . Définissez Nouveau nom de colonne sur
amount_change, De la colonne suramountet Lignes en arrière sur 1. - Cliquez sur Appliquer .
Le tableau suivant montre le résultat avec les trois nouvelles colonnes, triées par client et date, avec order_date omis :
order_id | customer_id | amount | total_cumulé_client | previous_amount | changement_de_montant |
|---|---|---|---|---|---|
1 | 101 | 100,0 | 100,0 | null | null |
2 | 101 | 50,0 | 150,0 | 100,0 | -50,0 |
4 | 101 | 75,0 | 225,0 | 50,0 | 25,0 |
3 | 102 | 200,0 | 200,0 | null | null |
5 | 102 | 125,0 | 325,0 | 200,0 | -75,0 |
6 | 103 | 300,0 | 300,0 | null | null |
La première commande de chaque client n'a pas de commande précédente, donc previous_amount et amount_change sont nulles. Pour remplir previous_amount avec 0 à la place, définissez S'il n'y a pas de telle ligne sur Zéro .
Tableau croisé dynamique
Remodèle les données tabulaires dans deux directions. Utilisez les tabs en haut du volet de configuration pour sélectionner le mode.
Lignes → Colonnes (pivoter)
Transforme les valeurs distinctes d'une colonne en de nouveaux en-têtes de colonne, remplis de valeurs agrégées provenant d'une autre colonne.
Champ | Description |
|---|---|
Colonne pivotante | Sélectionnez la colonne dont les valeurs distinctes deviennent les nouveaux en-têtes. |
Valeur et agrégation | Sélectionnez la colonne dont les valeurs remplissent les cellules croisées et sélectionnez une fonction d'agrégation. Les fonctions disponibles dépendent du type de données de la colonne sélectionnée :
Configurez la manière dont les valeurs manquantes sont traitées (par exemple, null ou zéro), si l'option est disponible dans le volet. |
Colonnes → Lignes (dépivotement)
Convertit une ou plusieurs colonnes en lignes.
Champ | Description |
|---|---|
Annuler le pivotement des colonnes | Sélectionnez les colonnes à dépivoter. |
Colonnes de clé et de valeur | Définissez les noms des colonnes de clé et de valeur de sortie. |
Inclure les colonnes
Pour l'un ou l'autre mode, sélectionnez les colonnes qui restent dans la sortie aux côtés des valeurs pivotées ou non pivotées, et supprimez les colonnes dont vous n'avez pas besoin avant la transformation. Le concepteur déduit les colonnes fixes (de regroupement) des colonnes que vous n'attribuez pas aux rôles de pivot, de valeur ou de non-pivot.
Code
Python
Exécute du code Python personnalisé (PySpark) sur les données d'entrée.
Champ | Description |
|---|---|
| Attribuez un seul DataFrame à |
| Une liste de DataFrames d'entrée, en ordre amont. Le volet des détails de l'opérateur affiche le nom de chaque entrée, dans l'ordre. Par exemple, |
Paramètres | Appelez |
Un modèle minimal consiste à utiliser la première entrée si elle est présente, ou un DataFrame vide sinon :
# inputs["data"] is a list of input DataFrames
result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")
À partir de là, vous pouvez enchaîner les opérations de DataFrame (par exemple, select, filter, withColumn ou les jointures) sur result avant la fin de l'affectation, ou remplacer result par un nouveau DataFrame créé à partir de inputs["data"].
Pendant un aperçu, la sortie de l'opérateur est transmise dans le volet de sortie au fur et à mesure de sa production, y compris tout ce que vous rendez avec display() et le texte que vous imprimez, afin que vous puissiez voir les résultats avant la fin de l'exécution.
Mode de prévisualisation Python
Pendant que vous créez une préparation de données visuelles, Designer prévisualise en continu la sortie de chaque opérateur sur un échantillon de vos données. Ces aperçus exécutent votre code Python de la même manière qu’une exécution complète. C’est un problème lorsque votre code a des effets secondaires, comme l’appel d’une API externe, l’envoi d’une notification ou l’écriture dans un système en dehors de Unity Catalog. Vous ne souhaitez généralement pas que ces effets secondaires se déclenchent à chaque aperçu.
Pour permettre à votre code de faire la distinction entre les deux, lisez config["is_preview"], une valeur booléenne définie par Designer :
Truependant une exécution d’aperçu, afin que vous puissiez ignorer les effets secondaires.Falselors d’une exécution complète, par exemple lorsque vous cliquez sur Exécuter ou lors d’une exécution planifiée.
Par exemple, protégez les effets secondaires afin qu'ils ne s'exécutent qu'en dehors des aperçus :
result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")
# Side effects run only on a full run or scheduled job, not during previews.
if not config["is_preview"]:
write_results_to_external_system(result)
Un opérateur personnalisé doit déclarer une propriété de configuration is_preview pour recevoir cette valeur. Voir Ignorer les effets secondaires lors des aperçus.
SQL
Écrit du code SQL personnalisé pour toute transformation non couverte par les autres opérateurs.
Champ | Description |
|---|---|
Éditeur SQL | Saisissez une instruction SQL SQL Cliquez sur le bouton |
Paramètres | Pour faire référence à un parameter de préparation de données visuelles, utilisez la syntaxe des marqueurs de parameters nommés, comme |
pour ouvrir le volet de code SQL complet et voir comment votre instruction s'intègre dans le flux de travail complet.Rapport
HTML
Affiche une page HTML personnalisée, incluant du CSS et du JavaScript intégrés, dans le volet de sortie. Connectez un ou plusieurs opérateurs à l'opérateur HTML pour afficher leurs données sous forme de graphiques, de tableaux ou d'autres vues. L'opérateur HTML ne possède pas de port de sortie, vous ne pouvez donc pas connecter d'autres opérateurs après lui.
Champ | Description |
|---|---|
HTML | Document HTML ou fragment à afficher. Vous pouvez inclure les balises |
| Liste des données des opérateurs connectés, dans l'ordre de connexion. Chaque entrée possède un |
| Objet qui mappe chaque nom de parameter de préparation des données visuelles à sa valeur sous forme de chaîne. Consultez Utiliser des parameter dans Lakeflow Designer. |
Par exemple, la page suivante indique le nombre de lignes que le premier opérateur connecté transmet à la page :
<h2>Summary</h2>
<p id="summary">Connect an operator to bind data.</p>
<script>
const input = window.inputs[0];
if (input) {
document.getElementById('summary').textContent = input.rows.length + ' rows available.';
}
</script>
Pendant une prévisualisation, chaque entrée est limitée par le paramètre Lignes scannées de l'opérateur. La page reçoit au maximum 10 000 lignes au total, réparties équitablement entre les entrées connectées. Voir Contrôler la quantité de données traitées par les prévisualisations.
Visualisation
Crée une visualisation à partir des données d'entrée et l'affiche directement sur la zone de travail. Connectez un opérateur de visualisation à tout opérateur produisant des données tabulaires pour visualiser les résultats sans quitter Designer.
Pour configurer la visualisation, ouvrez l'opérateur et sélectionnez un type de Visualisation , puis mappez vos colonnes au graphique.
Champ | Description |
|---|---|
Visualisation | Le type de graphique à rendre, tel que **barres**, **aires**, ou **compteur**. |
Outils du canevas
Groupe
Regroupe visuellement les opérateurs sur le canevas sans modifier la façon dont les données circulent entre eux, ce qui est utile lorsqu'une préparation visuelle des données devient volumineuse ou que vous souhaitez refléter des étapes logiques.
Champ | Description |
|---|---|
Ajouter au groupe | Faites glisser un ou plusieurs opérateurs sur un groupe pour les y ajouter. |
Créer à partir de la sélection | Sélectionnez un ou plusieurs opérateurs, ouvrez le menu contextuel (clic droit), et sélectionnez Créer un nouveau groupe pour envelopper la sélection dans un nouveau groupe. |
Nom | Donnez un nom descriptif au groupe. |
Groupe de layout automatique | Dans la barre d'outils du groupe, cliquez sur Groupe de layout automatique pour organiser uniquement les opérateurs à l'intérieur du groupe. Les opérateurs en dehors du groupe ne bougent pas. |
Réduire / agrandir | Cliquez sur **réduire** ou **agrandir** pour afficher ou masquer le contenu du groupe sur la toile. |
Activer / désactiver | Cliquez avec le bouton droit sur l’en-tête du groupe, puis sélectionnez Désactiver pour exclure tous les opérateurs du groupe des exécutions, ou Activer pour les inclure à nouveau. Les opérateurs désactivés ne produisent aucune ligne de sortie. Les opérateurs en aval reçoivent donc un résultat vide jusqu’à ce que vous les activiez. Vous pouvez également activer ou désactiver un opérateur individuel. Voir Renommer, copier, supprimer et désactiver des opérateurs. |
Note
Ajoute une note sur le canevas afin que vous puissiez documenter le workflow lui-même : son objectif, ses hypothèses, ses mises en garde ou le contexte de transfert pour toute personne qui ouvrira la préparation visuelle des données plus tard.
Champ | Description |
|---|---|
Contenu | Modifiez le contenu des notes directement sur le canevas avec un éditeur de texte enrichi. Vous pouvez ajouter des titres, la mise en forme du texte, des Link, des images et des tableaux là où le texte brut n'est pas suffisant. Les notes n'affectent pas la façon dont les données circulent par les opérateurs. |
Créez votre propre opérateur
Lorsqu'aucun opérateur intégré ne couvre votre logique, créez un opérateur personnalisé. Un opérateur personnalisé est soit local, soit partagé :
- Local : L'opérateur appartient à la préparation visuelle des données actuelle. Décrivez la transformation et Genie Code génère l'opérateur. Vous n'écrivez pas de code. Voir Créer un opérateur personnalisé local avec Genie Code.
- Partagé : l'opérateur est enregistré afin que d'autres utilisateurs et préparations de données visuelles puissent l'utiliser. Sa logique est Python ou une fonction Unity Catalog, décrite dans YAML. Voir Créer un opérateur partagé.