Démarrage rapide de l'AI Runtime CLI
Aperçu
Cette fonctionnalité est en aperçu public.
Soumettez votre premier Job d'entraînement avec le CLI AI Runtime en trois étapes : écrivez une configuration train.yaml, exécutez-la avec air run, puis inspectez l'exécution. Avant de commencer, installez la CLI et configurez l'authentification.
Étape 1 : Écrire un fichier de configuration YAML
Créez train.yaml décrivant la charge de travail. La configuration minimale nécessite un nom d'expérimentation, une spécification de compute et une commande. La commande ci-dessous s'exécute sans aucun code local. Vous pouvez donc soumettre votre première exécution immédiatement :
experiment_name: my-first-air-run
compute:
num_accelerators: 1
accelerator_type: GPU_1xA10
command: echo "hello AIR!"
Exécutez votre propre code
Pour exécuter un script d'entraînement local, ajoutez un bloc environment qui liste vos dépendances Python et un bloc code_source qui upload votre code local. Placez votre script à côté de train.yaml:
my-project/
├── train.yaml
└── train.py
experiment_name: my-first-air-run
environment:
version: '4'
dependencies:
- torch
- transformers
compute:
num_accelerators: 1
accelerator_type: GPU_1xA10
code_source:
type: snapshot
snapshot:
root_path: .
command: python $CODE_SOURCE_PATH/train.py
Cette configuration installe les dépendances listées, upload le répertoire actuel (root_path: .), et exécute train.py sur un seul GPU A10. $CODE_SOURCE_PATH se résout à l'emplacement du code upload sur le nœud distant. Databricks recommande d'utiliser ceci plutôt que de coder en dur un chemin. environment.version sélectionne la version de l'environnement GPU Serverless et est facultatif (default : '4'). Pour toutes les versions disponibles, voir versions de l'environnement Serverless.
Pour la référence complète des champs, consultez la référence YAML Workload.
Étape 2 : Soumettre l'exécution
Soumettez la charge de travail :
air run --file train.yaml
Le CLI upload votre code local (si vous avez configuré un code_source), soumet le job et imprime un ID d'exécution. Utilisez cet ID pour inspecter, surveiller et annuler l'exécution dans les commandes ultérieures.
La soumission crée une exécution dans l'expérience MLflow nommée dans experiment_name (une expérience peut contenir plusieurs exécutions). Cette exécution capture les métriques, les paramètres, les artefacts et les Logs de la charge de travail, tous consultables dans l'interface utilisateur MLflow du Workspace. Les Logs sont également disponibles en dehors de MLflow : Stream-les sur votre terminal ou dans un fichier, ou download-les plus tard avec air logs (voir Étape 3).
Pour surveiller les logs jusqu’à la fin, ajoutez --watch:
air run --file train.yaml --watch
Étape 3 : Inspecter l'exécution
Vérification de l'état :
air get run <run-id>
La sortie comprend des Links cliquables vers l'Expérimentation MLflow de l'exécution et l'exécution MLflow dans l'interface utilisateur du Workspace.
Stream ou download les Logs :
air logs <run-id>
air logs <run-id> --node 2
air logs <run-id> --download-to ./logs/
Les charges de travail distribuées s'exécutent sur plusieurs nœuds. By default, air logs diffuse des Streams depuis le nœud 0. Pour consulter les logs depuis un nœud spécifique, transmettez --node. Utilisez --download-to pour écrire des logs dans un répertoire local au lieu de les diffuser en streaming.
Lister les exécutions récentes :
air list runs --limit 10
air list runs --active
Annuler une exécution :
air cancel <run-id>
Modèles courants
Remplacer les champs YAML depuis la ligne de commande :
air run --file train.yaml --override compute.num_accelerators=32 timeout_minutes=120
Valider la configuration sans l'envoyer :
air run --file train.yaml --dry-run
Rendre une soumission sûrement relançable :
air run --file train.yaml --idempotency-key my-unique-key
Si la même clé a déjà été utilisée, l’exécution existante est renvoyée au lieu d’en créer une nouvelle.