Ray no AI Runtime

info

Visualização

Esse recurso está em Prévia Pública.

nota

Esta página aborda o Ray no AI Runtime. Se você estiver usando Ray no compute clássico do Databricks com Databricks Runtime ML, consulte Ray no Databricks.

Ray é um framework de código aberto para escalar cargas de trabalho Python. Você pode criar clusters Ray e executar aplicativos Ray no AI Runtime, usando compute de GPU serverless que lida com o provisionamento de infraestrutura automaticamente.

A CLI do AI Runtime oferece suporte ao Ray em configurações de nó único e multinó. Inclua um script de bootstrap em command da carga de trabalho, que inicia o cluster Ray e coordena os nós head e worker quando a carga de trabalho é iniciada. Os exemplos de Ray hello world percorrem esse padrão.

O AI Runtime oferece suporte às bibliotecas principais do Ray, incluindo Ray Core, Ray Data, Ray Train e Ray Tune. Instale a biblioteca ray ou o extra relevante do Ray (ray[data], ray[train], ray[tune]) como uma dependência para sua carga de trabalho no ambiente padrão do Databricks. Se você usar o ambiente Databricks AI, ray estará pré-instalado, mas os extras devem ser instalados separadamente.

Exemplos

Exemplo	Descrição
Exemplos de hello world do Ray (CLI)	Exemplos mínimos de nó único e múltiplos nós para Ray Core, Ray Train, Ray Data e Ray Tune, incluindo o padrão de bootstrap de cluster.
Treinamento distribuído com Ray Train (CLI)	Faça o ajuste fino de um grande modelo de linguagem em vários nós usando Ray Train e PyTorch.
Inferência em lotes com Ray Data e vLLM (CLI)	Execute inferência em lotes em grande escala usando Ray Data para carregamento de dados distribuído e vLLM para servindo modelo eficiente.

Exemplo	Descrição
Exemplos de hello world do Ray (CLI)	Exemplos mínimos de nó único e múltiplos nós para Ray Core, Ray Train, Ray Data e Ray Tune, incluindo o padrão de bootstrap de cluster.
Treinamento distribuído com Ray Train (CLI)	Faça o ajuste fino de um grande modelo de linguagem em vários nós usando Ray Train e PyTorch.
Inferência em lotes com Ray Data e vLLM (CLI)	Execute inferência em lotes em grande escala usando Ray Data para carregamento de dados distribuído e vLLM para servindo modelo eficiente.