基盤モデルトレーニング

重要

この機能は パブリック プレビュー段階です。 パブリック プレビューに登録するには、Databricks アカウント チームにお問い合わせください。

基盤モデル トレーニングを使用すると、独自のデータを使用して 基盤モデルをカスタマイズし、特定のアプリケーションのパフォーマンスを最適化できます。 基盤モデルをファインチューニングまたは継続することで、モデルをゼロからトレーニングする場合よりも大幅に少ないデータ、時間、リソースを使用して独自のモデルをトレーニングできます。

Databricksを使用すると、トレーニングに使用する独自のデータ、トレーニングする基盤モデル、 MLflowに保存されたチェックポイント、 Unity Catalogに登録されてすぐにデプロイできるモデルなど、すべてが 1 つのプラットフォームにまとめられます。

この記事では、 Databricksの基盤モデル トレーニングの概要を説明します。 使用方法の詳細については、以下を参照してください。

基盤モデルトレーニングとは何ですか?

基盤モデル トレーニング を使用すると、 Databricks APIまたは UI を使用して基盤モデルを調整したり、さらに トレーニング したりできます。

基盤モデル トレーニングを使用すると、次のことが可能になります。

  • トレーニングを行うカスタム データを使用してモデルを作成し、チェックポイントをMLflowに保存します。 トレーニング済みのモデルを完全に制御できます。

  • モデルをUnity Catalogに自動登録し、モデルサービングで簡単にデプロイできるようにします。

  • 以前にトレーニングされたモデルの重みをロードすることで、完成した独自のモデルをさらにトレーニングします。

Databricks 、次の場合に基盤モデル トレーニングを試すことをお勧めします。

  • few-shot learningを試し、より良い結果を求めています。

  • 既存のモデルでプロンプトエンジニアリングを試し、より良い結果を求めています。

  • データプライバシーのためのカスタムモデルに対する完全な所有権が必要です。

  • レイテンシーやコストに敏感で、タスク固有のデータを使用して、より小さく、より安価なモデルを使用したいと考えています。

サポートされているタスク

基盤モデル トレーニング は、次のユースケースをサポートしています。

  • 教師ありファインチューニング: 構造化されたプロンプト応答データでモデルをトレーニングします。 これを使用して、モデルを新しいタスクに適応させたり、応答スタイルを変更したり、指示に従う機能を追加したりします。

  • 事前トレーニングの続き: 追加のテキスト データを使用してモデルをトレーニングします。 これを使用して、モデルに新しい知識を追加したり、モデルを特定のドメインに集中させたりします。

  • チャット補完: ユーザーとAIアシスタント間のチャット ログに基づいてモデルをトレーニングします。 この形式は、実際のチャットログと、質問応答と会話テキストの標準形式の両方として使用できます。 テキストは、特定のモデルに適したチャット形式に自動的に書式設定されます。

要件

  • 次の AWS リージョンのいずれかにある Databricks ワークスペース: us-east-1us-west-2

  • 基盤モデル トレーニングAPIs pip install databricks_genai を使用してインストールされました。

  • データが Delta テーブルにある場合は、Databricks Runtime 12.2 LTS ML 以上。

必要な入力データ形式については、「基盤モデル トレーニングのデータの準備」を参照してください。

サポートされるモデル

重要

Llama 3 は、LLAMA 3 コミュニティ ライセンス、Copyright © Meta Platforms, Inc. に基づいてライセンスされています。 無断複写・転載を禁じます。 お客様は、該当するモデルライセンスに準拠することを保証する責任を負います。

Llama 2 および Code Llamaモデルは、LLAMA 2 コミュニティ ライセンス、Copyright © Meta Platforms, Inc. に基づいてライセンスされています。 無断複写・転載を禁じます。 お客様は、該当するモデルライセンスに準拠することを保証する責任を負います。

DBRX は、 Databricks Open Model Licenseに基づいて提供され、これに従います。Copyright © Databricks, Inc. 無断転載を禁じます。 お客様は、 Databricks許容使用ポリシーを含む、該当するモデル ライセンスに準拠することを保証する責任を負います。

モデル

最大コンテキスト長

databricks/dbrx-base

4096

databricks/dbrx-instruct

4096

meta-llama/Meta-Llama-3-70B

8192

meta-llama/Meta-Llama-3-70B-Instruct

8192

meta-llama/Meta-Llama-3-8B

8192

meta-llama/Meta-Llama-3-8B-Instruct

8192

meta-llama/Llama-2-7b-hf

4096

meta-llama/Llama-2-13b-hf

4096

meta-llama/Llama-2-70b-hf

4096

meta-llama/Llama-2-7b-chat-hf

4096

meta-llama/Llama-2-13b-chat-hf

4096

meta-llama/Llama-2-70b-chat-hf

4096

codellama/CodeLlama-7b-hf

16384

codellama/CodeLlama-13b-hf

16384

codellama/CodeLlama-34b-hf

16384

codellama/CodeLlama-7b-Instruct-hf

16384

codellama/CodeLlama-13b-Instruct-hf

16384

codellama/CodeLlama-34b-Instruct-hf

16384

codellama/CodeLlama-7b-Python-hf

16384

codellama/CodeLlama-13b-Python-hf

16384

codellama/CodeLlama-34b-Python-hf

16384

mistralai/Mistral-7B-v0.1

32768

mistralai/Mistral-7B-Instruct-v0.2

32768

mistralai/Mixtral-8x7B-v0.1

32768

基盤モデルトレーニングを使用する

基盤モデル トレーニングは、databricks_genai SDK使用してアクセスできます。 次の例では、 Unity Catalog Volumes のデータを使用するトレーニング実行を作成して起動します。 構成の詳細については、「基盤モデル トレーニングAPIを使用してトレーニング実行を作成する」を参照してください。

from databricks.model_training import foundation_model as fm

model = 'meta-llama/Llama-2-7b-chat-hf'
# UC Volume with JSONL formatted data
train_data_path = 'dbfs:/Volumes/main/mydirectory/ift/train.jsonl'
register_to = 'main.mydirectory'
run = fm.create(
  model=model,
  train_data_path=train_data_path,
  register_to=register_to,
)

制限事項

  • 大規模なデータセット (100 億以上のトークン) は、コンピュートの可用性のためサポートされていません。

  • PrivateLink はサポートされていません。

  • 継続的な事前トレーニングの場合、ワークロードは 60 ~ 256 MB のファイルに制限されます。 1GBを超えるファイルでは、処理時間が長くなる可能性があります。

  • Databricks 、基盤モデル トレーニングを使用して、最新の最先端モデルをカスタマイズできるように努めています。 新しいモデルが利用可能になると、API や UI から古いモデルにアクセスする機能が削除されたり、古いモデルが廃止されたり、サポートされているモデルが更新されたりする可能性があります。 基盤モデルがAPIや UI から削除されるか非推奨になる場合、 Databricks次の手順を実行して、削除日や非推奨日の少なくとも 3 か月前に顧客に通知します。

    • スペースの [拡張 > 基盤モデル トレーニング]Databricks ページのモデル カードに、モデルの廃止が予定されていることを示す警告メッセージが表示されます。

    • ドキュメントを更新して、モデルが廃止される予定であることを示す通知を含めます。