Configurer l’exécution d’applications Databricks avec app.yaml
Le fichier app.yaml d’une application Databricks définit le fonctionnement de votre application. Si votre application nécessite un point d'entrée différent ou une configuration spécifique à l'environnement, vous pouvez inclure ce fichier facultatif dans votre projet pour remplacer le comportement default.
Vous pouvez utiliser l’extension de fichier .yaml ou .yml. Ce fichier doit être situé à la racine de votre répertoire de projet.
Paramètres pris en charge
Le fichier app.yaml prend en charge les paramètres suivants :
Paramètre | Type | Description |
|---|---|---|
|
| Utilisez ce paramètre lorsque vous avez besoin d’une commande personnalisée pour exécuter votre application. default, Databricks exécute les applications Python à l’aide de la commande Comme Databricks n'exécute pas la commande dans un shell, les variables d'environnement définies en dehors de la configuration de l'application ne sont pas disponibles pour votre application. La seule exception est Ce paramètre est facultatif. |
|
| Databricks définit automatiquement plusieurs variables d'environnement default dans l'environnement d'exécution de l'application. Cette clé de haut niveau définit une liste facultative de variables d'environnement supplémentaires à transmettre à votre application. Chaque variable peut utiliser une valeur codée en dur ou faire référence à une source externe, telle qu'un secret ou une entrée de base de données. Les éléments valides de la liste sont :
Ce paramètre est facultatif. |
|
| Définit un endpoint HTTP que Databricks vérifie avant de marquer un déploiement comme réussi. Les clés valides sont :
Voir Configurer une vérification de l’état du déploiement. Ce paramètre est facultatif. |
Configurer une vérification de l’intégrité du déploiement
Par default, Databricks marque un déploiement comme réussi dès le start du processus de votre application, même si celle-ci n’est pas encore prête à traiter les demandes. Ajoutez un paramètre health_check pour que Databricks attende que votre application soit prête avant de terminer le déploiement.
Quand une vérification de l’état de santé est configurée, Databricks envoie des requêtes HTTP GET à path sur votre application après que l’application a start, et les répète jusqu’à ce que l’endpoint retourne un code d’état 2xx ou que timeout_seconds s’écoule. La vérification de l’état de santé s’exécute à chaque fois que l’application est déployée ou start.
- Si l’endpoint renvoie un code d’état
2xx, le déploiement réussit et la nouvelle version commence à traiter le trafic. - Si l’endpoint ne renvoie pas de code d’état
2xxavant le délai d’expiration, ou si le processus de l’application se termine, le déploiement échoue. Les logs de déploiement comprennent le dernier code d’état ou l’erreur reçu(e) par la vérification d’état.
Ce qu’il advient de la version précédente après l’échec d’une vérification de l’état de santé dépend du type d’application :
- Applications à échelle horizontale : La version précédente continue de servir le trafic. Voir Mise à l'échelle horizontale pour les applications Databricks.
- Applications standard : Databricks arrête la version précédente avant de start la nouvelle version. Ainsi, l'application s'arrête après un échec de la vérification de l'état. Résolvez le problème et redéployez.
L’exemple suivant attend jusqu’à 60 secondes que l’endpoint /health renvoie un code d’état 2xx :
command: ['python', 'app.py']
health_check:
path: '/health'
timeout_seconds: 60
Exemple app.yaml pour une application Streamlit
Le fichier app.yaml suivant montre comment configurer une application Streamlit. Elle utilise une commande personnalisée pour start l’application avec streamlit run, lit l’ID du SQL warehouse à partir d’une ressource d’application et définit un indicateur de suivi de l’utilisation. Le champ valueFrom nécessite une ressource SQL warehouse avec la clé sql-warehouse. Voir Ajouter une ressource SQL warehouse à une application Databricks.
command: ['streamlit', 'run', 'app.py']
env:
- name: 'DATABRICKS_WAREHOUSE_ID'
valueFrom: 'sql-warehouse'
- name: 'STREAMLIT_GATHER_USAGE_STATS'
value: 'false'
Utilisez une configuration comme celle-ci si votre application dépend d'une ressource de compute spécifique, telle qu'un SQL Warehouse, ou nécessite certaines variables d'environnement pour contrôler le comportement d'exécution.
Exemple app.yaml pour une application Flask
Cet exemple montre comment configurer une application Flask à l’aide du serveur Gunicorn. Le paramètre command spécifie les paramètres de Startup de Gunicorn, et la section env définit le chemin d'accès à un volume Unity Catalog en tant que variable d'environnement.
command:
- gunicorn
- app:app
- -w
- 4
env:
- name: 'VOLUME_URI'
value: '/Volumes/catalog-name/schema-name/dir-name'
Utilisez cette approche lorsque votre application a besoin d'un serveur WSGI prêt pour la production comme Gunicorn et lorsqu'elle dépend de données stockées dans un volume Unity Catalog ou un autre chemin d'accès spécifique à l'environnement.