Exemplos de treinamento de modelos
Esta seção inclui exemplos que mostram como treinar o modelo de aprendizado de máquina em Databricks usando muitos códigos abertos populares da biblioteca.
O senhor também pode usar o AutoMLque prepara automaticamente um dataset para treinamento de modelos, executa um conjunto de testes usando códigos abertos de biblioteca, como scikit-learn e XGBoost, e cria um Python Notebook com o código-fonte de cada execução de teste para que o senhor possa revisar, reproduzir e modificar o código.
Exemplos de aprendizado de máquina
Pacote | Notebook(s) | Recursos |
---|---|---|
scikit-learn | Tutorial de machine learning | Unity Catalog, modelo de classificação, MLflow, ajuste automatizado de hiperparâmetros com Hyperopt e MLflow |
scikit-learn | Exemplo de ponta a ponta | Unity Catalog, modelo de classificação, MLflow, ajuste automatizado de hiperparâmetros com Hyperopt e MLflow, XGBoost |
MLlib | Exemplos de MLlib | Classificação binária, árvores de decisão, regressão GBT, Structured Streaming, transformador personalizado |
xgboost | Exemplos do XGBoost | Python, PySpark e Scala, workloads de nó único e treinamento distribuído |
Exemplos de ajuste de hiperparâmetros
Para obter informações gerais sobre o ajuste de hiperparâmetros em Databricks, consulte Hyperparameter tuning (Ajuste de hiperparâmetros).
Pacote | Notebook | Recursos |
---|---|---|
Optuna | Começar com a Optuna | Optuna, Optuna distribuído, scikit-learn, MLflow |
Hyperopt | Hyperopt distribuído | Hyperopt distribuído, scikit-learn, MLflow |
Hyperopt | Comparar modelos | Utilize o hyperopt distribuído para buscar o espaço de hiperparâmetros para diferentes tipos de modelos simultaneamente. |
Hyperopt | Algoritmos de treinamento distribuído e hyperopt | Hyperopt, MLlib |
Hyperopt | Melhores práticas da Hyperopt | Práticas recomendadas para conjuntos de dados de tamanhos diferentes |