aprendizagem profunda pipeline migration guia
Essa documentação foi descontinuada e pode não estar atualizada. O produto, serviço ou tecnologia mencionados neste conteúdo não são mais suportados. Consulte AI e aprendizado de máquina em Databricks.
Esta página inclui dicas para a migração do código aberto aprendizagem profunda pipeline pacote que foi incluído em Databricks Runtime 6.6 ML e abaixo. Partes da biblioteca do pipeline de aprendizagem profunda sparkdl foram removidas em Databricks Runtime 7.0 ML (EoS), especificamente os Transformers e Estimators usados no pipeline Apache Spark ML .
Esta página não é um recurso para informações gerais sobre aprendizagem profunda do pipeline em Databricks.
Leia imagens
O pacote do pipeline de aprendizagem profunda inclui um leitor de imagens sparkdl.image.imageIO, que foi removido em Databricks Runtime 7.0 ML (EoS).
Em vez disso, use a imagem fonte de dados ou o arquivo binário fonte de dados do site Apache Spark. Muitos dos exemplos do Notebook em Load data for machine learning e aprendizagem profunda mostram casos de uso dessas duas fontes de dados.
Transferir aprendizado
O pacote do pipeline de aprendizagem profunda inclui um Spark ML Transformer sparkdl.DeepImageFeaturizer para facilitar a transferência de aprendizagem com modelos de aprendizagem profunda. DeepImageFeaturizer foi removido no Databricks Runtime 7.0 ML (EoS).
Em vez disso, use os UDFs do site Pandas para realizar a caracterização com modelos de aprendizagem profunda. Pandas Os UDFs e sua variante mais recente, o Scalar Iterator Pandas UDFs, oferecem mais flexibilidade APIs, suportam mais aprendizagem profunda na biblioteca e proporcionam melhor desempenho.
Consulte Featurization for transfer learning para ver exemplos de aprendizagem por transferência com Pandas UDFs.
Ajuste distribuído de hiperparâmetros
O pacote do pipeline de aprendizagem profunda inclui um Spark ML Estimator sparkdl.KerasImageFileEstimator para ajustar os hiperparâmetros usando Spark ML utilidades de ajuste. KerasImageFileEstimator foi removido no Databricks Runtime 7.0 ML (EoS).
Em vez disso, use o Hyperopt para distribuir o ajuste de hiperparâmetros para modelos de aprendizagem profunda.
Inferência distribuída
O pacote do pipeline de aprendizagem profunda inclui vários Spark ML Transformers para distribuir a inferência, todos removidos em Databricks Runtime 7.0 ML (EoS):
DeepImagePredictorTFImageTransformerKerasImageFileTransformerTFTransformerKerasTransformer
Em vez disso, use Pandas UDFs para executar a inferência em Spark DataFrames, seguindo os exemplos em modelos implantados para inferência e previsão de lotes.