Databricks で scikit-learn を使用する
このページでは、 scikit-learn パッケージを使用して Databricks で機械学習モデルをトレーニングする方法の例を示します。 scikit-learn は、シングルノード機械学習で最も人気のある Python ライブラリの 1 つであり、Databricks Runtime と Databricks Runtime ML に含まれています。 クラスター ランタイムに含まれている Databricks Runtimeライブラリのバージョンについては、リリースノートを参照してください。scikit-learn
これらのノートブックをインポートして、Databricks ワークスペースで実行できます。
Databricks ですぐに使い始めるためのその他のノートブックの例については、「 チュートリアル: AI と機械学習の概要」を参照してください。
scikit-learn を使用した基本的な例
このノートブックでは、Databricks での機械学習モデルのトレーニングの概要を簡単に説明します。 scikit-learn パッケージを使用して、単純な分類モデルをトレーニングします。また、 MLflow を使用してモデル開発プロセスを追跡し、 Optuna を使用してハイパーパラメーターチューニングを自動化する方法も示しています。
ワークスペースで Unity Catalog が有効になっている場合は、次のバージョンのノートブックを使用します。
scikit-learn classification ノートブック (Unity Catalog)
ワークスペースで Unity Catalog が有効になっていない場合は、次のバージョンのノートブックを使用します。
scikit-learn分類ノートブック
Databricks での scikit-learn を使用したエンドツーエンドの例
このノートブックでは、 Scikit-Learn を使用して、データの読み込み、モデルのトレーニング、分散ハイパーパラメーターチューニング、モデル推論の完全なエンドツーエンドの例を示します。 また、 MLflow Model Registry を使用してモデルをログに記録および登録するモデル ライフサイクル管理についても説明します。
ワークスペースで Unity Catalog が有効になっている場合は、次のバージョンのノートブックを使用します。
scikit-learnMLflowで 統合を使用してDatabricks を使用するUnity Catalog ()
ワークスペースで Unity Catalog が有効になっていない場合は、次のバージョンのノートブックを使用します。