Databricks で Apache Spark MLlib を使用する

このページでは、Databricks で MLlib を使用する方法を示すノートブックの例を示します。

Apache Spark MLlib は、分類、回帰、クラスター、協調フィルター処理、次元削減、基になる最適化プリミティブなど、一般的な学習アルゴリズムとユーティリティで構成される Apache Spark 機械学習ライブラリです。 MLlib の機能に関するリファレンス情報については、次の Apache Spark API リファレンス Databricks お勧めします。

R から Apache Spark MLlib を使用する方法については、 R 機械学習 のドキュメントを参照してください。

二項分類の例 ノートブック

このノートブックでは、Apache Spark MLlib パイプライン API を使用して二項分類アプリケーションを構築する方法を示します。

二項分類ノートブック

ノートブックを新しいタブで開く

デシジョン ツリーの例の ノートブック

これらの例では、Apache Spark MLlib パイプライン API を使用したデシジョン ツリーのさまざまなアプリケーションを示します。

決定木

これらのノートブックでは、デシジョン ツリーを使用して分類を実行する方法を示します。

数字認識のための決定木 ノートブック

ノートブックを新しいタブで開く

SFO 調査 のデシジョンツリーノートブック

ノートブックを新しいタブで開く

MLlib パイプライン を使用した GBT 回帰

このノートブックでは、MLlib パイプラインを使用して、勾配ブースト ツリーを使用して回帰を実行し、曜日、天気、季節などの情報から自転車のレンタル数 (時間あたり) を予測する方法を示します。

自転車シェアリング回帰 ノートブック

ノートブックを新しいタブで開く

Apache Spark MLlib パイプラインと構造化ストリーミング の例

このノートブックでは、履歴データに対して Apache Spark MLlib パイプラインをトレーニングし、ストリーミング データに適用する方法を示します。

MLlib pipeline 構造化ストリーミング notebook

ノートブックを新しいタブで開く

高度な Apache Spark MLlib ノートブックの例

このノートブックでは、カスタム トランスフォーマーを作成する方法を示します。

カスタムトランスフォーマーノートブック

ノートブックを新しいタブで開く