Aller au contenu principal

Configurer un pipeline Serverless

Les pipelines Serverless s'exécutent sur un compute géré par Databricks, éliminant la majeure partie de la configuration de l'infrastructure.

Databricks recommande de développer les nouveaux pipelines en utilisant le mode serverless. Certaines charges de travail peuvent nécessiter la configuration d’un compute classique ou l’utilisation du Hive metastore hérité. Pour une comparaison côte à côte des deux types de compute, voir Serverless vs. classic compute for pipelines. Voir aussi Configurer le compute classique pour les pipelines et Utiliser LakeFlow Pipelines avec le Hive metastore hérité.

Exigences​

Configuration recommandée pour les pipelines serverless​

important

L’autorisation de création de clusters n’est pas nécessaire pour configurer des pipelines serverless. default, tous les utilisateurs du Workspace ont accès au compute Serverless automatisé default du Workspace. Les administrateurs de workspace peuvent limiter cet accès. Voir Gérer le compute serverless.

Les pipelines Serverless suppriment la plupart des options de configuration, car Databricks gère toute l'infrastructure. Lorsque vous créez un nouveau pipeline, le comportement par default est d'utiliser le Serverless. Pour savoir comment configurer un pipeline Serverless, consultez Configurer les pipelines.

Vous pouvez également convertir les pipelines existants configurés avec Unity Catalog pour utiliser le serverless. Voir Convertir un pipeline existant pour utiliser le serverless.

Autres considérations de configuration​

Les options de configuration suivantes sont également disponibles pour les pipelines Serverless :

Politique d’utilisation serverless​

info

Aperçu

Cette fonctionnalité est en aperçu public.

Les politiques d'utilisation Serverless permettent à votre organisation d'appliquer des tags personnalisés à l'utilisation Serverless pour une attribution de facturation granulaire. Après avoir sélectionné la case à cocher Serverless , le paramètre Politique d'utilisation apparaît, où vous pouvez sélectionner la politique que vous souhaitez appliquer au pipeline. Les tags sont hérités de la politique d'utilisation serverless et ne peuvent être modifiés que par les administrateurs de workspace.

remarque

Une fois qu'une politique d'utilisation Serverless vous a été attribuée, vos pipelines existants ne sont pas automatiquement étiquetés avec votre politique. Vous devez mettre à jour manuellement les pipelines existants si vous souhaitez leur associer une politique.

Pour en savoir plus sur les politiques d'utilisation serverless, consultez Attribuer l'utilisation avec les politiques d'utilisation serverless.

Limites de débit du compute serverless​

Les limites de débit serverless sont en version bêta. Un administrateur de workspace doit activer la limite de débit de compute serverless depuis la page Aperçus.

Dans l'éditeur Lakeflow, ouvrez les Settings du pipeline. Dans Compute , sélectionnez l’objet compute serverless que l’identité d’exécution du pipeline est autorisée à utiliser. Sa taille limite la mise à l’échelle automatique de l’exécuteur Spark pour le pipeline. Chaque pipeline qui utilise le même objet compute reçoit sa propre limite. La limite ne plafonne pas le coût total du pipeline.

Consultez Définir des limites de débit sur le compute serverless pour connaître les exigences d’exécution, les autorisations, les tailles et les limitations.

Sélectionnez un mode de performance​

Un pipeline serverless utilise le mode de performance du job ou du calendrier qui l’exécute. Le mode d’optimisation des performances est la default. Il start rapidement et est conçu pour des charges de travail interactives et sensibles au temps. Pour les pipelines pouvant tolérer un temps de startup typique de 4 à 6 minutes, le mode standard consomme moins d’unités Databricks (DBU) et coûte moins cher. Pour utiliser le mode standard pour un pipeline déclenché, désactivez Optimisation des performances dans le calendrier du pipeline.

Pour comparer les modes et définir le mode pour chaque type de charge de travail, consultez Choisir un mode de performance pour les jobs et les pipelines serverless.

remarque

Pour utiliser le mode de performance standard avec un pipeline continu, exécutez le pipeline avec un job continu et décochez la case Performances optimisées dans le planning. Consultez Exécuter un pipeline continu avec un job continu et Planifier un pipeline avec l’interface utilisateur du pipeline.

Fonctionnalités des pipelines Serverless​

Outre la simplification de la configuration, les pipelines Serverless disposent des fonctionnalités suivantes :

  • Pipeline de Stream : Pour améliorer l'utilisation, le throughput et la latence des charges de travail de données en streaming, telles que l'ingestion de données, les micro-lots sont traités en pipeline . Autrement dit, au lieu d'exécuter des micro-lots séquentiellement comme un Spark Structured Streaming standard, les LakeFlow Pipelines serverless exécutent des micro-lots simultanément, améliorant l'utilisation des ressources de compute. Le Stream pipelining est activé par default dans les pipelines serverless.
  • Mise à l'échelle verticale automatique : les LakeFlow Pipelines serverless s'ajoutent à la mise à l'échelle horizontale automatique fournie par la mise à l'échelle automatique améliorée de Databricks en allouant automatiquement les types d'instances les plus rentables qui peuvent exécuter votre pipeline sans échouer en raison d'erreurs de mémoire insuffisante. Consultez Qu'est-ce que l'autoscaling vertical ?

Convertissez un pipeline existant pour utiliser le Serverless.​

Vous pouvez convertir des pipelines existants configurés avec Unity Catalog en pipelines Serverless. Suivez les étapes suivantes :

  1. Dans la barre latérale de votre workspace Databricks, cliquez sur Jobs & Pipelines .
  2. Cliquez sur le Nom du pipeline.
  3. Cliquez sur Paramètres .
  4. Dans la barre latérale droite, sous Compute , cliquez sur Icône de crayon..
  5. Cochez la case à côté de Serverless .
  6. Cliquez sur Enregistrer .
important

Lorsque vous activez le serverless, tous les paramètres de compute que vous avez configurés pour un pipeline sont supprimés. Si vous rebasculez un pipeline vers des mises à jour non serverless, vous devez reconfigurer les paramètres de compute souhaités dans la configuration du pipeline.

Recherchez l'utilisation des DBU d'un pipeline serverless​

Vous pouvez trouver l'utilisation de DBU des LakeFlow Pipelines Serverless en interrogeant la table d'utilisation facturable, qui fait partie des tables système Databricks. Consultez Quelle est la consommation de DBU d'un pipeline serverless ?.

Limitations​

  • Pour les limitations du compute Serverless, consultez Limitations du compute Serverless. Les limitations du Trigger de Structured Streaming décrites ici ne s'appliquent pas aux modes de pipeline. Les pipelines Serverless prennent en charge les modes déclenchés, continus et temps réel. Consultez Mode de pipeline déclenché ou continu.
  • Vous ne pouvez pas ajouter manuellement les paramètres de compute dans un objet clusters dans la configuration JSON pour un pipeline Serverless. Toute tentative de ce faire entraîne une erreur.
  • Le redémarrage manuel du processus Python (dbutils.library.restartPython()) n’est pas pris en charge, vous ne pouvez donc pas installer ni recharger de dépendances à l’exécution. Consultez Gérer les dépendances Python pour les pipelines.