Exemplos da CLI do AI Runtime

info

Beta

Este recurso está em Beta. Os administradores do espaço de trabalho podem controlar o acesso a esse recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Os exemplos a seguir são cargas de trabalho completas e de ponta a ponta, enviadas a partir da CLI air com air run -f train.yaml. Cada um mostra um padrão real multi-GPU em GPUs H100, incluindo o YAML da carga de trabalho, comandos de inicialização e código. Inicie com o início rápido se você ainda não enviou uma execução.

• • Ajuste fino de LLM multi-nó com FSDP
  • Ajuste fino supervisionado de Llama-3.1-8B em 16 GPUs H100 (2 nós) utilizando torchrun e PyTorch Fully Sharded Data Parallel (FSDP). Logs para MLflow e checkpoints para um volume do Unity Catalog.
• • Treinamento distribuído com Ray Train
  • Ajuste fino distribuído de dados em paralelo com TorchTrainer do Ray Train em 8 GPUs H100 em um único nó, com um worker por GPU.
• • Inferência em lotes com Ray Data e vLLM
  • Inferência de LLM em lotes offline com Ray Data e vLLM em 8 GPUs H100 em um único nó, executando uma réplica de vLLM por GPU e gravando os resultados em um volume do Unity Catalog como Parquet.