Workflow de deep learning MLflow 3

Exemple de Notebook

Le notebook d'exemple exécute un seul job d'entraînement de modèle d'apprentissage profond avec PyTorch, qui est suivi comme une exécution MLflow. Il logs un modèle de point de contrôle toutes les 10 époques. Chaque point de contrôle est suivi en tant que LoggedModel MLflow. En utilisant l'interface utilisateur ou l'API de recherche de MLflow, vous pouvez inspecter les modèles de point de contrôle et les classer par précision.

Le notebook installe les bibliothèques scikit-learn et torch.

Notebook MLflow 3 de modèle de deep learning avec points de contrôle

Ouvrir le notebook dans un nouvel ongletOuvrir dans Databricks

Utilisez l'interface utilisateur pour explorer les performances du modèle et enregistrer un modèle

Après avoir exécuté le Notebook, vous pouvez consulter les modèles de points de contrôle enregistrés dans l'interface utilisateur d'Experimentation MLflow. Un Link vers l'expérimentation apparaît dans le résultat de la cellule du Notebook, ou suivez les étapes suivantes :

1. Cliquez sur **Expérimentations** dans la barre latérale du workspace.

2. Trouvez votre expérimentation dans la liste des expérimentations. Vous pouvez cocher la case Mes expérimentations uniquement ou utiliser la zone de recherche Filtrer les expérimentations pour filtrer la liste des expérimentations.

3. Cliquez sur le nom de votre expérience. La page Exécutions s'ouvre. L'expérience contient une exécution MLflow.

   

4. Cliquez sur l'onglet Modèles . Les modèles de point de contrôle individuels sont suivis sur cet écran. Pour chaque point de contrôle, vous pouvez consulter la précision du modèle, ainsi que tous ses parameter et métadonnées.

   

Dans le Notebook d'exemple, vous avez enregistré le modèle le plus performant dans Unity Catalog. Vous pouvez également enregistrer un modèle depuis l'interface utilisateur. Pour ce faire, suivez ces étapes :

1. Depuis l'onglet Modèles , cliquez sur le nom du modèle à enregistrer.

2. Depuis la page des détails du modèle, dans le coin supérieur droit, cliquez sur **Enregistrer le modèle**.

astuce

Il peut falloir quelques minutes pour qu'un modèle apparaisse dans l'interface utilisateur après son enregistrement. Ne cliquez pas sur Enregistrer le modèle plus d'une fois, sinon vous enregistrerez des modèles en double.

3. Sélectionnez **Unity Catalog** et sélectionnez un nom de modèle existant dans le menu déroulant ou saisissez un nouveau nom.

4. Cliquez sur S'INSCRIRE .

Utiliser l'API pour classer les modèles de checkpoint

Le code suivant montre comment classer les modèles de point de contrôle par précision. Pour plus de détails sur la recherche de modèles de Logs à l'aide de l'API, consultez Rechercher et filtrer les modèles de Logs.

Python

ranked_checkpoints = mlflow.search_logged_models(
  output_format="list",
  order_by=[{"field_name": "metrics.accuracy", "ascending": False}]
)

best_checkpoint: mlflow.entities.LoggedModel = ranked_checkpoints[0]
print(best_checkpoint.metrics[0])

<Metric:
  dataset_digest='9951783d',
  dataset_name='train',
  key='accuracy',
  model_id='m-bba8fa52b6a6499281c43ef17fcdac84',
  run_id='394928abe6fc4787aaf4e666ac89dc8a',
  step=90,
  timestamp=1730828771880,
  value=0.9553571428571429
>

worst_checkpoint: mlflow.entities.LoggedModel = ranked_checkpoints[-1]
print(worst_checkpoint.metrics[0])

<Metric:
  dataset_digest='9951783d',
  dataset_name='train',
  key='accuracy',
  model_id='m-88885bc26de7492f908069cfe15a1499',
  run_id='394928abe6fc4787aaf4e666ac89dc8a',
  step=0,
  timestamp=1730828730040,
  value=0.35714285714285715

Quelle est la différence entre l'onglet Modèles de la page d'expérimentation MLflow et la page de version de modèle dans l'Explorateur de catalogues ?

La Models tab de la page d'expérimentation et la page de version de modèle dans l'Explorateur de catalogues affichent des informations similaires sur le modèle. Les deux vues ont des rôles différents dans le cycle de vie du développement et du déploiement du modèle.

• La Models tab de la page d'expérimentation présente les résultats des modèles journalisés d'une expérimentation sur une seule page. La tab Graphiques de cette page fournit des visualisations pour vous aider à comparer les modèles et à sélectionner les versions de modèle à enregistrer dans l'Unity Catalog en vue d'un déploiement éventuel.
• Dans l'Explorateur de catalogues, la page de version du modèle fournit un aperçu de toutes les performances et des résultats d'évaluation du modèle. Cette page affiche les paramètres de modèle, les mesures et les traces dans tous les environnements liés, y compris les différents workspaces, endpoints et expérimentations. Ceci est utile pour le monitoring et le déploiement, et fonctionne particulièrement bien avec les Jobs de déploiement. « La tâche d'évaluation dans un job de déploiement crée des métriques supplémentaires qui apparaissent sur cette page. » L'approbateur du Job peut ensuite consulter cette page pour évaluer s'il convient d'approuver la version du modèle pour le déploiement.

Ressources supplémentaires

Pour en savoir plus sur le suivi LoggedModel introduit dans MLflow 3, consultez l'article suivant :

• Suivre et comparer les modèles à l'aide des modèles journalisés MLflow.

Pour en savoir plus sur l'utilisation de MLflow 3 avec les workflows ML traditionnels, consultez l'article suivant :

• MLflow 3 workflow ML traditionnel.