Aller au contenu principal
Dernière mise à jour le

Paramétrer les Jobs

Les paramètres vous permettent de passer des valeurs à un job et à ses tâches, et de référencer des valeurs entre les tâches. Cet article présente les types de paramètres disponibles dans Lakeflow Jobs et la manière de les configurer dans l'interface utilisateur. Vous devez également mettre à jour les asset de code source que vous configurez en tant que tâches pour référencer des parameter. Les références de paramètres varient selon la langue et le type de tâche. Voir Accéder aux valeurs des paramètres d'une tâche.

Voici les concepts fondamentaux pour la compréhension des paramètres des Jobs :

Ce que vous pouvez faire avec les parameters​

Ajoutez des paramètres aux Jobs et aux tâches pour des cas d'utilisation avancés, y compris les suivants :

  • Ajouter une logique extensible aux actifs de code.
  • Rendez les exécutions conditionnelles.
  • Référencez les parameters courants sur plusieurs tâches.
  • Utiliser les informations générées dans une tâche dans une autre tâche.
  • Référencer les métadonnées et les informations d'état dans l'exécution de job.

Paramètres de Job vs. paramètres de tâche​

Les paramètres de job sont des paires clé-valeur définies au niveau du job. Vous pouvez remplacer les paramètres par default des paramètres de Job lorsque vous Exécutez maintenant avec des paramètres différents ou trigger une exécution de Job à l'aide de l'API REST. Les paramètres de job sont transmis aux tâches qui utilisent des paramètres clé-valeur. D’autres tâches peuvent référencer des parameters de Job à l’aide de références de valeur dynamique.

remarque

Tout utilisateur disposant de l'autorisation CAN MANAGE RUN ou d'une autorisation supérieure sur un Job peut remplacer les valeurs des parameters du Job pour une exécution manuelle à l'aide de Exécuter maintenant avec des parameters différents . Une valeur de parameter par default n'est pas un contrôle de sécurité. Pour éviter les modifications, restreignez les permissions du Job.

Les paramètres de tâche sont des paires clé-valeur ou des tableaux JSON définis au niveau de la tâche. Chaque type de tâche transmet différemment les valeurs de tâche aux assets de code configurés. Par exemple, les tâches de notebook utilisent le sous-module dbutils.widgets, tandis que les scripts Python transmettent des valeurs en tant qu'arguments au script, comme s'il était appelé depuis la ligne de commande. Les tâches en aval peuvent faire référence aux paramètres de tâche des tâches en amont à l'aide de références de valeurs dynamiques. Consultez Accéder aux valeurs des paramètres à partir d'une tâche.

remarque

Certaines tâches ne disposent pas de champ Paramètres dédié, mais autorisent les références à des valeurs de tâche ou à des références de valeurs dynamiques dans d’autres champs. Consultez Exemples de commandes dbt paramétrées et Ajouter une logique de branchement à un job avec la tâche Si/Alors.

Créez des workflows à l'aide de valeurs dynamiques​

Les parameters de tâche définis avec des valeurs statiques ne peuvent être remplacés qu'en mettant à jour la définition de la tâche. Définir une valeur statique pour un paramètre de job revient à configurer une valeur default, que vous pouvez remplacer lorsque vous Exécutez maintenant avec des paramètres différents ou trigger une exécution de job à l’aide de l’API REST.

Utilisez des références de valeur dynamique lors de la définition des parameters de tâche pour implémenter des patterns tels que les suivants :

  • Utilisez un paramètre de Job comme output_table pour une tâche et comme input_table pour une autre.
  • Capturez la sortie d'une query de notebook sous forme de liste et itérez-la dans une tâche **For each**.
  • Création d'une logique de branchement basée sur le nombre d'enregistrements traités à l'aide d'une tâche Condition If/else .
  • Référez-vous aux paramètres d'autres tâches.

Consultez les Références de valeurs dynamiques.

Sur cette page