Exemplos de CLI do Databricks para AI Runtime

info

Visualização

Este recurso está em Pré-visualização Pública.

Os exemplos a seguir são cargas de trabalho completas e de ponta a ponta enviadas da CLI do Databricks com databricks air run -f <config>.yaml. Cada um inclui o YAML da carga de trabalho, quaisquer scripts de inicialização e o código completo. Comece com o quickstart se você nunca tiver enviado uma execução antes.

• • Ajuste fino de LLM multi-nó com FSDP
  • Ajuste fino supervisionado de Llama-3.1-8B em 16 GPUs H100 (2 nós) utilizando torchrun e PyTorch Fully Sharded Data Parallel (FSDP). Logs para MLflow e checkpoints para um volume do Unity Catalog.
• • Ray hello world
  • Exemplos funcionais mínimos para Ray Core, Ray Train, Ray Data e Ray Tune, incluindo o padrão de bootstrap compartilhado para executar clusters Ray no AI Runtime.
• • Treinamento distribuído com Ray Train
  • Ajuste fino distribuído de dados em paralelo com TorchTrainer do Ray Train em 8 GPUs H100 em um único nó, com um worker por GPU.
• • Inferência em lotes com Ray Data e vLLM
  • Offline LLM inferência de lotes com Ray Data e vLLM em 4 nós A10, executando uma réplica vLLM por nó e gravando os resultados em um volume do Unity Catalog como Parquet.
• • Busca de hiperparâmetros com Ray Tune
  • Pesquisa de hiperparâmetros LoRA para Qwen2.5-0.5B com Ray Tune em 4 nós 1xA10, executando um teste por GPU e interrompendo testes com baixo desempenho antecipadamente com o programador ASHA.