Aller au contenu principal
Dernière mise à jour le

Utiliser des paramètres dans Lakeflow Designer

Les parameters sont des valeurs nommées définies pour la préparation de données visuelles dans son ensemble. Vous pouvez référencer des paramètres dans le code de l'opérateur SQL et Python, dans les champs de configuration de l'opérateur pris en charge et dans les expressions qui activent ou désactivent les opérateurs. Les paramètres vous permettent d'exécuter la même préparation de données visuelles dans différents environnements, par exemple, un catalogue de test lors du développement et un catalogue de production en production.

Définir les paramètres​

Pour gérer les parameter, sélectionnez Parameter dans le volet de gauche. Chaque parameter possède une valeur que vous définissez lorsque vous le créez. Lorsque la préparation des données visuelles s’exécute selon un planning ou en tant que job, vous pouvez remplacer cette valeur. Consultez Remplacer les valeurs de parameter en production.

Référencez un parameter à partir d'un opérateur​

La façon dont vous référencez un parameter dépend de l'endroit où vous l'utilisez :

  • Opérateur SQL : utilisez la syntaxe des marqueurs de parameter nommés, telle que :environment. Voir Utiliser des marqueurs de parameter nommés.
  • Opérateur Python : Appelez dbutils.widgets.get(), par exemple dbutils.widgets.get("environment"). Voir Outil widgets (dbutils.widgets).
  • Champs de configuration de l’opérateur pris en charge : dans le volet de configuration de l’opérateur, sélectionnez parameter dans l’angle supérieur droit. Sélectionnez un champ et saisissez une expression telle que :source_table. Les champs pris en charge sont les suivants :
    • Source : Table , Chemin d'accès au fichier et Format de fichier .
    • Sortie : catalogue , Schéma , Table , Vue , Volume , Nom du fichier et Mode d'écriture .
    • Limite : Limite .
    • Combiner : Opération définie , Stratégie de Merge , Relier par nom et Autoriser les colonnes manquantes .

Lorsque vous ouvrez un opérateur SQL ou Python pour le modifier, Lakeflow Designer affiche un exemple de la manière de référencer les parameter disponibles au-dessus de l'éditeur source.

Combiner des paramètres avec du texte fixe​

Dans une expression de parameter pour un opérateur Source ou Sortie, utilisez :parameter_name pour remplacer une valeur entière. Pour combiner des parameter avec du texte fixe, mettez le texte entre guillemets simples et utilisez ||. Par exemple, l'expression Table Source suivante construit un nom de table entièrement qualifié :

SQL
:catalog || '.' || :schema || '.' || :table

Activer ou désactiver un opérateur avec un parameter​

Vous pouvez utiliser un parameter pour activer ou désactiver n'importe quel opérateur configuré. Dans son volet parameter , sélectionnez Désactivé et saisissez une expression booléenne. Par exemple, :skip_operator désactive l'opérateur quand le parameter est true. Un opérateur désactivé ne produit aucune ligne de sortie.

Pour activer ou désactiver manuellement un opérateur, consultez Renommer, copier, supprimer et désactiver des opérateurs.

Remplacer les valeurs des paramètres en production​

Lors de l’exécution, un fichier de préparation de données visuelles lit ses paramètres de la même manière qu’il s’exécute de manière interactive ou en tant que job, de sorte que le même fichier fonctionne dans tous vos environnements sans modification. Fournissez des valeurs différentes pour chaque environnement comme suit :

  • Lorsque vous planifiez un Job dans l’interface utilisateur : Remplacer les valeurs des parameter pour chaque planification. Par exemple, planifiez la même préparation visuelle des données pour qu’elle s’exécute tous les jours à midi avec un parameter environment défini sur test, puis à 14 h avec environment défini sur production. Voir Planifier en tant que job.
  • Lors du déploiement avec un bundle : définissez les valeurs des parameter via le parameters du Job et utilisez les cibles de bundle pour fournir des valeurs différentes par environnement. Les cibles de développement et de production des bundles vous permettent de déployer le même job dans des environnements distincts avec des paramètres spécifiques à l'environnement. Consultez les modes de déploiement des Declarative Automation Bundles et la configuration des Declarative Automation Bundles.

Ressources supplémentaires​

Sur cette page