Início rápido da CLI antiga do Python para AI Runtime
Esta documentação foi retirada e pode não estar atualizada.
A CLI air baseada em Python, instalada com o pacote databricks-air, agora está obsoleta e não é mais mantida ativamente.
Use a CLI do Databricks para novas cargas de trabalho. Consulte Usar a CLI do Databricks com o AI Runtime.
Envie seu primeiro job de treinamento com a CLI do AI Runtime em três passos: escreva uma configuração de train.yaml, execute-a com air run, depois inspecione a execução. Antes de começar, instale a CLI e configure a autenticação.
O passo 1: Escrever uma configuração YAML
Crie train.yaml descrevendo a carga de trabalho. A configuração mínima requer um nome de experimento, uma especificação de compute e um comando. O comando abaixo é executado sem qualquer código local, para que você possa enviar sua primeira execução imediatamente:
experiment_name: my-first-air-run
compute:
num_accelerators: 1
accelerator_type: GPU_1xA10
command: echo "hello AIR!"
Execute seu próprio código
Para executar um script de treinamento local, adicione um bloco environment que liste suas dependências do Python e um bloco code_source que faça upload do seu código local. Coloque seu script ao lado de train.yaml:
my-project/
├── train.yaml
└── train.py
experiment_name: my-first-air-run
environment:
version: '4'
dependencies:
- torch
- transformers
compute:
num_accelerators: 1
accelerator_type: GPU_1xA10
code_source:
type: snapshot
snapshot:
root_path: .
command: python $CODE_SOURCE_PATH/train.py
Essa configuração instala as dependências listadas, faz upload do diretório atual (root_path: .) e faz a execução de train.py em uma única GPU A10. $CODE_SOURCE_PATH resolve para o local do código upload no nó remoto. A Databricks recomenda usar isso em vez de codificar um caminho diretamente. environment.version seleciona a versão do ambiente de GPU serverless e é opcional (o default é '4'). Para todas as versões disponíveis, consulte Versões de ambiente.
Para a referência completa do campo, consulte referência de YAML da Workload para a CLI legada do Python.
o passo 2: Enviar a execução
Envie a carga de trabalho:
air run --file train.yaml
A CLI faz upload do seu código local (se você configurou um code_source), envia o job e imprime um ID de execução. Use esse ID para inspecionar, assistir e cancelar a execução em comandos posteriores.
O envio cria uma execução no experiment do MLflow nomeado em experiment_name (um experiment pode conter muitas execuções). Essa execução captura as métricas, os parâmetros, os artefatos e os logs do workload, todos visíveis na interface de usuário do MLflow no workspace. Os Logs também estão disponíveis fora do MLflow: transmissão para seu terminal ou um arquivo, ou faça o download deles posteriormente com air logs (consulte o passo 3).
Para acompanhar os Logs até a conclusão, adicione --watch:
air run --file train.yaml --watch
O passo 3: inspecionar a execução
Verificar status:
air get run <run-id>
A saída inclui Link clicáveis para o experimento do MLflow da execução e a execução do MLflow na interface do usuário do Workspace.
Transmissão ou faça download dos Logs:
air logs <run-id>
air logs <run-id> --node 2
air logs <run-id> --download-to ./logs/
As cargas de trabalho distribuídas estão em execução em vários nós. Por default, air logs transmissão do nó 0. Para ver os Logs de um nó específico, passe --node. Use --download-to para gravar logs em um diretório local em vez de transmissão.
Lista de execuções recentes:
air list runs --limit 10
air list runs --active
Cancelar uma execução:
air cancel <run-id>
Padrões comuns
Substituir campos YAML da linha de comando:
air run --file train.yaml --override compute.num_accelerators=32 timeout_minutes=120
Validar a configuração sem enviar:
air run --file train.yaml --dry-run
Torne um envio capaz de tentar novamente com segurança:
air run --file train.yaml --idempotency-key my-unique-key
Se a mesma key já foi usada antes, a execução existente é retornada em vez de criar uma nova.