基盤モデルファインチューニング API を使用してトレーニング実行を作成する

プレビュー

この機能はus-east-1とus-west-2でパブリックプレビュー段階です。

この記事では、基盤モデルファインチューニング (現在は Mosaic AI Model トレーニングの一部) APIを使用してトレーニング実行を作成および構成する方法と、 API 呼び出しで使用されるすべてのパラメーターについて説明します。 UI を使用して実行を作成することもできます。手順については、「基盤モデルファインチューニング UI を使用してトレーニング実行を作成する」を参照してください。

要件

要件を参照してください。

トレーニング実行を作成する

プログラムでトレーニング実行を作成するには、create()関数を使用します。この関数は、提供されたデータセットでモデルをトレーニングするし、最終的なComposerチェックポイントを推論用のHugging Faceのチェックポイントに変換します。

必要な入力は、トレーニングするモデル、トレーニングデータセットの場所、およびモデルを登録する場所です。また、評価を実行し、実行のハイパーパラメータを変更できるオプションのパラメータもあります。

実行が完了すると、完了した実行と最終チェックポイントが保存され、モデルがクローン化され、そのクローンが推論用のモデルバージョンとしてUnity Catalogに登録されます。

Unity Catalogのクローンモデルバージョンではなく、完了したランのモデルと、そのコンポーザーとHugging FaceのチェックポイントがMLflowに保存されます。コンポーザーチェックポイントは、継続的な微調整タスクに使用できます。

create()関数の引数の詳細については、トレーニング実行の構成を参照してください。

from databricks.model_training import foundation_model as fm

run = fm.create(
  model='meta-llama/Llama-2-7b-chat-hf',
  train_data_path='dbfs:/Volumes/main/mydirectory/ift/train.jsonl', # UC Volume with JSONL formatted data
  # Public HF dataset is also supported
  # train_data_path='mosaicml/dolly_hhrlhf/train'
  register_to='main.mydirectory', # UC catalog and schema to register the model to
)

トレーニング実行を構成する

次の表は、 foundation_model.create() 関数のパラメーターをまとめたものです。

パラメーター	必須	タイプ	説明
`model`	x	str	使用するモデルの名前。サポートされているモデルを参照してください。
`train_data_path`	x	str	トレーニングデータの場所。これは、Unity Catalog内（ `<catalog>.<schema>.<table>`または`dbfs:/Volumes/<catalog>/<schema>/<volume>/<dataset>.jsonl` ）、またはHuggingFaceデータセットの場所にすることができます。 `INSTRUCTION_FINETUNE`の場合、各行に`prompt`フィールドと`response`フィールドが含まれるようにデータをフォーマットする必要があります。 `CONTINUED_PRETRAIN`の場合、これは`.txt`ファイルのフォルダです。受け入れられるデータ形式については「基盤モデルのファインチューニングのためのデータの準備」を、データサイズの推奨事項については「モデルトレーニングの推奨データサイズ」を参照してください。
`register_to`	x	str	簡単にデプロイできるようにトレーニング後にモデルが登録されるUnity Catalogカタログとスキーマ（`<catalog>.<schema>`または`<catalog>.<schema>.<custom-name>` ）。`custom-name`が指定されていない場合は、デフォルトで実行名が使用されます。
`data_prep_cluster_id`		str	Sparkデータ処理に使用するクラスターのクラスターID。これは、学習用データがDeltaテーブルにある教師ありトレーニングタスクに必要です。クラスターIDの見つけ方については、クラスターIDの取得を参照してください。
`experiment_path`		str	トレーニング実行出力（メトリクスとチェックポイント）が保存されるMLflowエクスペリメントへのパス。デフォルトは、ユーザーの個人ワークスペース内の実行名（つまり`/Users/<username>/<run_name>`です）。
`task_type`		str	実行するタスクのタイプ。`INSTRUCTION_FINETUNE`（デフォルト）、`CHAT_COMPLETION`、または`CONTINUED_PRETRAIN`になります。
`eval_data_path`		str	評価データのリモートロケーション（存在する場合）。`train_data_path`0}と同じ形式に従わなければなりません。
`eval_prompts`		リスト[str]	評価中に応答を生成するためのプロンプト文字列のリスト。デフォルトは`None`（プロンプトを生成しない）です。モデルがチェックポイントされるたびに、結果がエクスペリメントに記録されます。生成は、次の生成パラメーターを使用して、すべてのモデルチェックポイントで発生します：`max_new_tokens: 100`、`temperature: 1`、`top_k: 50`、`top_p: 0.95`、`do_sample: true`。
`custom_weights_path`		str	トレーニング用のカスタムモデルチェックポイントのリモートロケーション。デフォルトは `None`で、選択したモデルの元の事前学習済み重みから実行が開始されます。カスタムの重みが指定されている場合、モデルの元の事前トレーニング済みの重みの代わりに、これらの重みが使用されます。これらのウェイトは Composer チェックポイントである必要があり、指定した `model` のアーキテクチャと一致する必要があります。「カスタムモデルの重みに基づいて構築する」を参照してください
`training_duration`		str	実行の合計時間。デフォルトは1エポックまたは`1ep`です。エポック（`10ep`）またはトークン（`1000000tok`）で指定できます。
`learning_rate`		str	モデルトレーニングの学習率。 Llama 3.1 405B Instruct以外のすべてのモデルでは、デフォルトの学習率は `5e-7`です。 Llama 3.1 405B Instructの場合、デフォルトの学習率は `1.0e-5`です。オプティマイザは DecoupledLionW で、ベータは 0.99 と 0.95 で、ウェイト減衰はありません。学習率スケジューラは LinearWithWarmupSchedule で、ウォームアップは合計トレーニング時間の 2% で、最終学習率乗数は 0 です。
`context_length`		str	データサンプルのシーケンスの最大長です。これは、長すぎるデータを切り捨て、効率を上げるために短いシーケンスをまとめてパッケージ化するために使用されます。デフォルトは8192トークンか、提供されたモデルのコンテキストの最大長のどちらか低い方です。このパラメーターを使用してコンテキスト長を設定できますが、各モデルの最大コンテキスト長を超える設定はサポートされていません。各モデルでサポートされる最大コンテキスト長については、「サポートされるモデル」を参照してください。
`validate_inputs`		ブール値	トレーニングジョブを送信する前に入力パスへのアクセスを検証するかどうか。デフォルトは`True`です。

カスタムモデルの加重を構築する

基盤モデルファインチューニングは、オプションのパラメーター custom_weights_path を使用してモデルのトレーニングとカスタマイズにカスタム重みを追加することをサポートしています。

開始するには、 custom_weights_path を以前のトレーニング実行の Composer チェックポイントパスに設定します。 チェックポイント パスは、以前のMLflow 実行のアーティファクトタブにあります。チェックポイント・フォルダ名は、特定のスナップショットのバッチとエポックに対応します ( ep29-ba30/など)。

前回の実行から最新のチェックポイントを指定するには、 custom_weights_path を Composer チェックポイントに設定します。たとえば、 custom_weights_path=dbfs:/databricks/mlflow-tracking/<experiment_id>/<run_id>/artifacts/<run_name>/checkpoints/latest-sharded-rank0.symlink.
以前のチェックポイントを指定するには、目的のチェックポイントに対応する.distcpファイルを含むフォルダへのパス ( custom_weights_path=dbfs:/databricks/mlflow-tracking/<experiment_id>/<run_id>/artifacts/<run_name>/checkpoints/ep#-ba#など) を custom_weights_path に設定します。

次に、custom_weights_pathに渡したチェックポイントの基本モデルと一致するようにmodelパラメーターを更新します。

次の例では、 ift-meta-llama-3-1-70b-instruct-ohugkq を微調整する前の実行 meta-llama/Meta-Llama-3.1-70Bです。 ift-meta-llama-3-1-70b-instruct-ohugkqから最新のチェックポイントを微調整するには、model 変数と custom_weights_path 変数を次のように設定します。

from databricks.model_training import foundation_model as fm

run = fm.create(
model = 'meta-llama/Meta-Llama-3.1-70B'
custom_weights_path = 'dbfs:/databricks/mlflow-tracking/2948323364469837/d4cd1fcac71b4fb4ae42878cb81d8def/artifacts/ift-meta-llama-3-1-70b-instruct-ohugkq/checkpoints/latest-sharded-rank0.symlink'
... ## other parameters for your fine-tuning run

)