モデルのトレーニング例
このセクションでは、多くの一般的なオープンソースライブラリを使用して Databricks で機械学習モデルをトレーニングする方法を示す例を紹介します。
また、 AutoML を使用すると、モデル トレーニング用のデータセットが自動的に準備され、scikit-learn や XGBoost などのオープンソース ライブラリを使用して一連の試用版が実行され、各試用版の実行のソース コードを含む Python ノートブックが作成されるため、コードを確認、再現、変更できます。
機械学習の例
パッケージ | ノートブック | 機能 |
---|---|---|
Scikit-Learn | Unity Catalog、分類モデル、MLflow、HyperoptとMLflowによる自動ハイパーパラメーターチューニング | |
Scikit-Learn | Unity Catalog、 分類モデル 、 MLflow、 Hyperopt and MLflowによる自動ハイパーパラメーターチューニング 、 XGBoost | |
MLlib | 二項分類、決定木、GBT回帰、構造化ストリーミング、カスタムトランスフォーマー | |
XGBoost | Python、PySpark、Scala、シングルノードワークロード、分散トレーニング |
ハイパーパラメーターチューニング examples
Databricksでのハイパーパラメーターチューニングに関する一般的な情報については、ハイパーパラメーターチューニングを参照してください。
パッケージ | ノートブック | 機能 |
---|---|---|
オプツナ | Optuna、分散Optuna、scikit-learn、MLflow | |
Hyperopt | 分散hyperopt、Scikit-Learn、MLflow | |
Hyperopt | 分散hyperoptを使用して、ハイパーパラメータ空間でさまざまなモデルタイプを同時に検索する | |
Hyperopt | Hyperopt、MLlib | |
Hyperopt | さまざまなサイズのデータセットのベストプラクティス |