Aller au contenu principal

Configurer l’exécution d’applications Databricks avec app.yaml

Le fichier app.yaml d’une application Databricks définit le fonctionnement de votre application. Si votre application nécessite un point d'entrée différent ou une configuration spécifique à l'environnement, vous pouvez inclure ce fichier facultatif dans votre projet pour remplacer le comportement default.

Vous pouvez utiliser l’extension de fichier .yaml ou .yml. Ce fichier doit être situé à la racine de votre répertoire de projet.

Paramètres pris en charge​

Le fichier app.yaml prend en charge les paramètres suivants :

Paramètre

Type

Description

command

sequence

Utilisez ce paramètre lorsque vous avez besoin d’une commande personnalisée pour exécuter votre application. default, Databricks exécute les applications Python à l’aide de la commande python <my-app.py>, où <my-app.py> est le premier fichier .py (par ordre alphabétique) dans le répertoire racine de votre application. Si votre application inclut un package.json avec un script start, la commande default est npm run start. Voir Logique de déploiement.

Comme Databricks n'exécute pas la commande dans un shell, les variables d'environnement définies en dehors de la configuration de l'application ne sont pas disponibles pour votre application. La seule exception est DATABRICKS_APP_PORT, qui est remplacé par le numéro de port réel dans la commande lors de l'exécution. Si votre application nécessite des paramètres supplémentaires pour s'exécuter, utilisez la structure env.

Ce paramètre est facultatif.

env

list

Databricks définit automatiquement plusieurs variables d'environnement default dans l'environnement d'exécution de l'application. Cette clé de haut niveau définit une liste facultative de variables d'environnement supplémentaires à transmettre à votre application. Chaque variable peut utiliser une valeur codée en dur ou faire référence à une source externe, telle qu'un secret ou une entrée de base de données.

Les éléments valides de la liste sont :

Ce paramètre est facultatif.

health_check

map

Définit un endpoint HTTP que Databricks vérifie avant de marquer un déploiement comme réussi. Les clés valides sont :

  • path: Le chemin à demander, comme /health. Doit start par /.
  • timeout_seconds: durée d’attente pour que l’endpoint réponde avec succès, en secondes. La valeur default et la valeur maximale est 300.

Voir Configurer une vérification de l’état du déploiement.

Ce paramètre est facultatif.

Paramètre

Type

Description

command

sequence

Utilisez ce paramètre lorsque vous avez besoin d’une commande personnalisée pour exécuter votre application. default, Databricks exécute les applications Python à l’aide de la commande python <my-app.py>, où <my-app.py> est le premier fichier .py (par ordre alphabétique) dans le répertoire racine de votre application. Si votre application inclut un package.json avec un script start, la commande default est npm run start. Voir Logique de déploiement.

Comme Databricks n'exécute pas la commande dans un shell, les variables d'environnement définies en dehors de la configuration de l'application ne sont pas disponibles pour votre application. La seule exception est DATABRICKS_APP_PORT, qui est remplacé par le numéro de port réel dans la commande lors de l'exécution. Si votre application nécessite des paramètres supplémentaires pour s'exécuter, utilisez la structure env.

Ce paramètre est facultatif.

env

list

Databricks définit automatiquement plusieurs variables d'environnement default dans l'environnement d'exécution de l'application. Cette clé de haut niveau définit une liste facultative de variables d'environnement supplémentaires à transmettre à votre application. Chaque variable peut utiliser une valeur codée en dur ou faire référence à une source externe, telle qu'un secret ou une entrée de base de données.

Les éléments valides de la liste sont :

Ce paramètre est facultatif.

health_check

map

Définit un endpoint HTTP que Databricks vérifie avant de marquer un déploiement comme réussi. Les clés valides sont :

  • path: Le chemin à demander, comme /health. Doit start par /.
  • timeout_seconds: durée d’attente pour que l’endpoint réponde avec succès, en secondes. La valeur default et la valeur maximale est 300.

Voir Configurer une vérification de l’état du déploiement.

Ce paramètre est facultatif.

Configurer une vérification de l’intégrité du déploiement​

Par default, Databricks marque un déploiement comme réussi dès le start du processus de votre application, même si celle-ci n’est pas encore prête à traiter les demandes. Ajoutez un paramètre health_check pour que Databricks attende que votre application soit prête avant de terminer le déploiement.

Quand une vérification de l’état de santé est configurée, Databricks envoie des requêtes HTTP GET à path sur votre application après que l’application a start, et les répète jusqu’à ce que l’endpoint retourne un code d’état 2xx ou que timeout_seconds s’écoule. La vérification de l’état de santé s’exécute à chaque fois que l’application est déployée ou start.

  • Si l’endpoint renvoie un code d’état 2xx, le déploiement réussit et la nouvelle version commence à traiter le trafic.
  • Si l’endpoint ne renvoie pas de code d’état 2xx avant le délai d’expiration, ou si le processus de l’application se termine, le déploiement échoue. Les logs de déploiement comprennent le dernier code d’état ou l’erreur reçu(e) par la vérification d’état.

Ce qu’il advient de la version précédente après l’échec d’une vérification de l’état de santé dépend du type d’application :

  • Applications à échelle horizontale : La version précédente continue de servir le trafic. Voir Mise à l'échelle horizontale pour les applications Databricks.
  • Applications standard : Databricks arrête la version précédente avant de start la nouvelle version. Ainsi, l'application s'arrête après un échec de la vérification de l'état. Résolvez le problème et redéployez.

L’exemple suivant attend jusqu’à 60 secondes que l’endpoint /health renvoie un code d’état 2xx :

YAML
command: ['python', 'app.py']
health_check:
path: '/health'
timeout_seconds: 60

Exemple app.yaml pour une application Streamlit​

Le fichier app.yaml suivant montre comment configurer une application Streamlit. Elle utilise une commande personnalisée pour start l’application avec streamlit run, lit l’ID du SQL warehouse à partir d’une ressource d’application et définit un indicateur de suivi de l’utilisation. Le champ valueFrom nécessite une ressource SQL warehouse avec la clé sql-warehouse. Voir Ajouter une ressource SQL warehouse à une application Databricks.

YAML
command: ['streamlit', 'run', 'app.py']
env:
- name: 'DATABRICKS_WAREHOUSE_ID'
valueFrom: 'sql-warehouse'
- name: 'STREAMLIT_GATHER_USAGE_STATS'
value: 'false'

Utilisez une configuration comme celle-ci si votre application dépend d'une ressource de compute spécifique, telle qu'un SQL Warehouse, ou nécessite certaines variables d'environnement pour contrôler le comportement d'exécution.

Exemple app.yaml pour une application Flask​

Cet exemple montre comment configurer une application Flask à l’aide du serveur Gunicorn. Le paramètre command spécifie les paramètres de Startup de Gunicorn, et la section env définit le chemin d'accès à un volume Unity Catalog en tant que variable d'environnement.

YAML
command:
- gunicorn
- app:app
- -w
- 4
env:
- name: 'VOLUME_URI'
value: '/Volumes/catalog-name/schema-name/dir-name'

Utilisez cette approche lorsque votre application a besoin d'un serveur WSGI prêt pour la production comme Gunicorn et lorsqu'elle dépend de données stockées dans un volume Unity Catalog ou un autre chemin d'accès spécifique à l'environnement.

Ressources supplémentaires​