ディープラーニング パイプライン移行ガイド
このドキュメントは廃止されており、更新されない可能性があります。 このコンテンツに記載されている製品、サービス、またはテクノロジはサポートされなくなりました。 「Databricks の AI と機械学習」をご覧ください。
このページでは、Databricks Runtime6.6 以前に含まれていたオープンソース ディープラーニング パイプライン パッケージML から移行するためのヒントを紹介します。ディープラーニング パイプライン ライブラリ ライブラリ sparkdlの一部は、 Databricks Runtime 7.0 ML (EoS) で削除されました。具体的には、パイプラインで使用されていたトランスフォーマーとエスティメーター Apache Spark ML 。
このページは、Databricks のディープラーニング パイプラインに関する一般的な情報のリソースではありません。
画像を読み取る
ディープラーニング パイプライン パッケージには、 Databricks Runtime 7.0 ML (EoS) で削除されたイメージ リーダー sparkdl.image.imageIOが含まれています。
代わりに、 のimage データソース またはbinary file データソース Apache Sparkを使用してください。機械学習とディープラーニングのためのデータの読み込みのサンプル ノートブックの多くが、これら 2 つのデータソースの使用例を示しています。
転移学習
ディープラーニング パイプライン パッケージには、ディープラーニング モデルによる転移学習を容易にするための Spark ML Transformer sparkdl.DeepImageFeaturizerが含まれています。 Databricks Runtime 7.0 ML (EoS) ではDeepImageFeaturizerが削除されました。
代わりに、 Pandas UDF を使用して、ディープラーニング モデルで特徴付けを実行します。 Pandas UDF とその新しいバリアントである Scalar Iterator (スカラー反復子) Pandas UDF は、より柔軟なAPIsを提供し、より多くのディープラーニング ライブラリをサポートし、より優れたパフォーマンスを提供します。
UDF を使用した転移学習の例については、 転移学習の特徴量化 を参照してください。Pandas
Distributed ハイパーパラメーターチューニング
ディープラーニング パイプライン パッケージには、Spark ML tuning ユーティリティを使用してハイパーパラメーターを調整するための Spark ML Estimator sparkdl.KerasImageFileEstimatorが含まれています。Databricks Runtime 7.0 ML (EoS) ではKerasImageFileEstimatorが削除されました。
代わりに、Hyperopt を使用して、ディープラーニング モデルのハイパーパラメーターチューニングを配布します。
分散推論
ディープラーニング パイプライン パッケージには、推論を分散するためのいくつかの Spark ML Transformer が含まれていますが、これらはすべて Databricks Runtime 7.0 ML (EoS) で削除されました。
DeepImagePredictorTFImageTransformerKerasImageFileTransformerTFTransformerKerasTransformer
代わりに、Pandas UDF Sparkデータフレームを使用して、バッチ推論と予測のためのモデルのデプロイ の例に従って、 で推論を実行します。