Guide de migration des pipelines de Deep Learning
Cette documentation a été retirée et pourrait ne pas être mise à jour. Les produits, services ou technologies mentionnés dans ce contenu ne sont plus pris en charge. Consultez l'article dédié au Machine Learning sur Databricks.
Cette page contient des conseils pour migrer depuis le package Deep Learning Pipelines open source qui était inclus dans Databricks Runtime 6.6 ML et versions antérieures. Certaines parties de la bibliothèque Deep Learning Pipelines sparkdl ont été supprimées dans Databricks Runtime 7.0 ML, notamment les Transformers et Estimators utilisés dans les Pipelines de ML Apache Spark.
Cette page n'est pas une ressource d'informations générales sur les pipelines de deep learning sur Databricks.
Lire les images
Le package Deep Learning Pipelines inclut un lecteur d'images sparkdl.image.imageIO, qui a été supprimé dans Databricks Runtime 7.0 ML.
Utilisez plutôt la source de données d'image ou la source de données de fichier binaire d'Apache Spark. Beaucoup des notebooks d'exemple dans Charger des données pour le Machine Learning et le Deep Learning présentent des cas d'utilisation de ces deux sources de données.
Apprentissage par transfert
Le package Deep Learning Pipelines inclut un Transformer Spark ML sparkdl.DeepImageFeaturizer pour faciliter l'apprentissage par transfert avec des modèles de deep learning. DeepImageFeaturizer a été supprimé dans Databricks Runtime 7.0 ML.
Utilisez plutôt les UDF pandas pour effectuer la featurisation avec des modèles de deep learning. Les UDF pandas, et leur nouvelle variante les UDF pandas d'itérateur scalaire, offrent des APIs plus flexibles, prennent en charge plus de bibliothèques d'apprentissage profond et offrent de meilleures performances.
Voir Featurisation pour l’apprentissage par transfert pour des exemples d’apprentissage par transfert avec des UDF pandas.
Réglage d'hyperparamètres distribué
Le package Deep Learning Pipelines inclut un estimateur Spark ML sparkdl.KerasImageFileEstimator pour l'ajustement des hyperparamètres à l'aide des utilitaires d'ajustement Spark ML. KerasImageFileEstimator a été supprimé dans Databricks Runtime 7.0 ML.
Utilisez plutôt Hyperopt pour distribuer l'optimisation des hyperparamètres pour les modèles d'apprentissage profond.
Inférence distribuée
Le package Deep Learning Pipelines inclut plusieurs Spark ML Transformers pour la distribution de l’inférence, qui ont tous été supprimés dans Databricks Runtime 7.0 ML :
DeepImagePredictorTFImageTransformerKerasImageFileTransformerTFTransformerKerasTransformer
Utilisez plutôt les UDF Pandas pour exécuter l'inférence sur les DataFrames Spark, en suivant les exemples de l'article Déployer des modèles pour l'inférence et la prédiction par batch.