AI/MLモデルのトレーニング
このセクションでは、Mosaic AI で機械学習モデルと AI モデルをトレーニングする方法を示します。
Mosaic AIModel トレーニングは、ML AutoMLおよび基盤モデルのファインチューニング ワークロードを通じて、従来の モデルのトレーニングとデプロイのプロセスを合理化および統合します。
AutoML
AutoML は、最適なアルゴリズムとハイパーパラメータ設定を自動的に見つけることで、データセットに機械学習を適用するプロセスを簡素化します。 AutoML は、Python API だけでなく、ノーコード UI も提供します。
基盤モデル ファインチューニング
の基盤モデル ファインチューニング (現在はMosaic AI Model トレーニングの一部)Databricks を使用すると、独自のデータを使用して大規模言語モデル (LLM) をカスタマイズできます。このプロセスでは、既存の基盤モデルのトレーニングをファインチューニングすることで、モデルをゼロからトレーニングする場合と比較して、必要なデータ、時間、およびコンピュートリソースを大幅に削減します。 主な機能は次のとおりです。
教師ありの微調整:構造化されたプロンプトとレスポンスデータでトレーニングすることで、モデルを新しいタスクに適応させることができます。
継続的な事前トレーニング:新しい知識を追加したり、特定の分野に焦点を当てたりするために、追加のテキストデータでモデルを強化できます。
チャット完了:会話能力を向上させるために、チャットログでモデルをトレーニングします。
オープンソースライブラリの例
Optuna と を使用したハイパーパラメーターチューニングの例など、さまざまなオープンソース 機械学習ライブラリの 機械学習 トレーニングの例 を参照してください。Hyperopt
ディープラーニング
分散ディープラーニング トレーニングの例とベスト プラクティスを参照して、Databricksでディープラーニング モデルを開発および微調整できるようにします。
推薦
Databricks で ディープラーニングベースのレコメンデーション モデルを トレーニングする方法について説明します。 従来のレコメンデーション モデルと比較して、ディープラーニング モデルは、より高品質の結果を達成し、大量のデータにスケーリングできます。