AI ランタイム上の Ray

備考

プレビュー

注記

このページでは、AI ランタイム上の Ray について説明します。Databricks Runtime 機械学習を使用して Databricks クラシックコンピュート上で Ray を使用している場合は、「Databricks 上の Ray」を参照してください。

Ray は、Python ワークロードをスケーリングするためのオープンソースフレームワークです。インフラストラクチャのプロビジョニングを自動的に処理するServerless GPU コンピュートを使用して、AI Runtime 上で Ray クラスターを作成し、Ray アプリケーションを実行できます。

AI Runtime CLI は、シングルノードおよびマルチノード構成での Ray をサポートしています。ワークロードの command にブートストラップスクリプトを含めます。これにより、ワークロードの起動時に Ray クラスターが開始され、ヘッドノードとワーカーノードが調整されます。Ray hello world の例で、このパターンについて説明します。

AI Runtime は、Ray Core、Ray Data、Ray Train、Ray Tune を含む Ray のコアライブラリをサポートしています。標準の Databricks 環境でのワークロードの依存関係として、ray ライブラリまたは関連する Ray エクストラ (ray[data]、ray[train]、ray[tune]) をインストールします。Databricks AI 環境を使用する場合、ray はプレインストールされていますが、エクストラは別途インストールする必要があります。

例

例	説明
Ray hello world の例 (CLI)	クラスターブートストラップパターンを含む、Ray Core、Ray Train、Ray Data、Ray Tune の最小限のシングルノードおよびマルチノードの例。
Ray Train を使用した分散トレーニング (CLI)	Ray Train と PyTorch を使用して、複数のノードで大規模言語モデルをファインチューニングします。
Ray Data と vLLM を使用したバッチ推論 (CLI)	分散データ読み込みには Ray Data を、効率的なモデルサービングには vLLM を使用して、大規模なバッチ推論を実行します。

例	説明
Ray hello world の例 (CLI)	クラスターブートストラップパターンを含む、Ray Core、Ray Train、Ray Data、Ray Tune の最小限のシングルノードおよびマルチノードの例。
Ray Train を使用した分散トレーニング (CLI)	Ray Train と PyTorch を使用して、複数のノードで大規模言語モデルをファインチューニングします。
Ray Data と vLLM を使用したバッチ推論 (CLI)	分散データ読み込みには Ray Data を、効率的なモデルサービングには vLLM を使用して、大規模なバッチ推論を実行します。

例​

例