Paralelizar o ajuste de hiperparâmetros do Hyperopt

Observação

A versão de código aberto do Hyperopt não está mais sendo mantida.

Hyperopt não está mais pré-instalado em Databricks Runtime ML 17.0 e acima. A Databricks recomenda o uso do Optuna para obter uma experiência semelhante e acesso a algoritmos de ajuste de hiperparâmetros mais atualizados.

Este Notebook mostra como usar o Hyperopt para paralelizar cálculos de ajuste de hiperparâmetros. Ele usa a classe SparkTrials para distribuir cálculos automaticamente entre os clusters worker. Ele também ilustra o acompanhamento automatizado do MLflow da execução do Hyperopt para que você possa salvar os resultados para mais tarde.

Paralelize o ajuste de hiperparâmetros com o acompanhamento automatizado do MLflow Notebook

Abra o bloco de anotações em outra guia Copiar link para importação

Depois de executar as ações na última célula do Notebook, sua IU do MLflow deve exibir: