Exemplos da CLI do AI Runtime

info

Visualização

Este recurso está em Pré-visualização Pública.

Os exemplos a seguir são workloads completos de ponta a ponta que você envia a partir da CLI air com air run -f <config>.yaml. Cada um inclui o YAML de workload, quaisquer scripts de bootstrap e o código completo. Comece com o quickstart se você ainda não tiver enviado uma execução anteriormente.

• • Ajuste fino de LLM multi-nó com FSDP
  • Ajuste fino supervisionado de Llama-3.1-8B em 16 GPUs H100 (2 nós) utilizando torchrun e PyTorch Fully Sharded Data Parallel (FSDP). Logs para MLflow e checkpoints para um volume do Unity Catalog.
• • Ray hello world
  • Exemplos funcionais mínimos para Ray Core, Ray Train, Ray Data e Ray Tune, incluindo o padrão de bootstrap compartilhado para executar clusters Ray no AI Runtime.
• • Treinamento distribuído com Ray Train
  • Ajuste fino distribuído de dados em paralelo com TorchTrainer do Ray Train em 8 GPUs H100 em um único nó, com um worker por GPU.
• • Inferência em lotes com Ray Data e vLLM
  • Inferência de LLM em lotes offline com Ray Data e vLLM em 8 GPUs H100 em um único nó, executando uma réplica de vLLM por GPU e gravando os resultados em um volume do Unity Catalog como Parquet.
• • Busca de hiperparâmetros com Ray Tune
  • Pesquisa de hiperparâmetros LoRA para Qwen2.5-0.5B com Ray Tune em 4 nós 1xA10, executando um teste por GPU e interrompendo testes com baixo desempenho antecipadamente com o programador ASHA.