Organiser les exécutions de formation avec les expérimentations MLflow

Les expérimentations sont des unités d’organisation pour vos exécutions MLflow, notamment les traces d’agent, les évaluations d’applications LLM et les exécutions d’entraînement de modèles. Il existe deux types d’expérimentations : workspace et notebook.

• Vous pouvez créer une expérimentation Workspace depuis l'interface utilisateur de Databricks ou l'API MLflow. Les expérimentations Workspace ne sont associées à aucun Notebook, et tout Notebook peut enregistrer une exécution pour ces expérimentations en utilisant l'ID de l'expérimentation ou son nom.
• Une Experimentation de Notebook est associée à un Notebook spécifique. Databricks crée automatiquement une expérimentation de Notebook s'il n'y a pas d'Experimentation active lorsque vous start a run using mlflow.start_run().

Pour voir toutes les expérimentations d’un Workspace auquel vous avez accès, dans la barre latérale, sous AI/ML , cliquez sur Expérimentations .

Créer une expérimentation de workspace

Cette section décrit comment créer une Experimentation Workspace à l'aide de l'interface utilisateur de Databricks. Vous pouvez créer une Experimentation Workspace directement depuis le Workspace ou depuis la page Experimentations.

Vous pouvez également utiliser l'API MLflow ou le fournisseur Databricks Terraform avec databricks_mlflow_experiment.

Pour obtenir des instructions sur la journalisation des exécutions dans les Experimentations de workspace, consultez Journaliser les exécutions et les modèles dans une Experimentation.

remarque

Pour la conformité au GDPR, les expérimentations obsolètes sont purgées des workspaces. Pour les workspaces où des clés gérées par le client sont utilisées, les expérimentations obsolètes ne sont purgées que lorsque la clé gérée par le client est accessible par Databricks. Consultez Configurer les clés gérées par le client pour le chiffrement pour accorder l'accès.

Créer une expérimentation depuis le Workspace

1. Cliquez sur Workspace dans la barre latérale.

2. Accédez au dossier dans lequel vous souhaitez créer l'Experimentation.

3. Cliquez avec le bouton droit sur le dossier et sélectionnez Créer > Expérimentation MLflow .

4. Dans la boîte de dialogue Créer MLflow Expérience, saisissez un nom pour l'expérience et un emplacement d'artefacts facultatif. Si vous ne spécifiez pas d'emplacement des artefacts, ceux-ci sont stockés dans le stockage des artefacts géré par MLflow : dbfs:/databricks/mlflow-tracking/<experiment-id>.

   Pour les Workspace activés pour Unity Catalog, vous pouvez également stocker des artefacts dans un volume Unity Catalog. Pour stocker des artefacts dans votre propre stockage cloud, créez un volume externe Unity Catalog.

   Pour stocker des artefacts dans un volume Unity Catalog, spécifiez un chemin de volume de la forme dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path comme emplacement des artefacts d'Experimentation MLflow, soit dans l'interface utilisateur, soit comme indiqué dans le code suivant :

   Python

   import mlflow # Storing artifacts in a volume requires MLflow 2.15.0 or above
   
   EXP_NAME = "/Users/first.last@databricks.com/my_experiment_name"
   CATALOG = "my_catalog"
   SCHEMA = "my_schema"
   VOLUME = "my_volume"
   ARTIFACT_PATH = f"dbfs:/Volumes/{CATALOG}/{SCHEMA}/{VOLUME}" # can be a managed or external volume
   
   mlflow.set_tracking_uri("databricks")
   mlflow.set_registry_uri("databricks-uc")
   
   if mlflow.get_experiment_by_name(EXP_NAME) is None:
       mlflow.create_experiment(name=EXP_NAME, artifact_location=ARTIFACT_PATH)
   mlflow.set_experiment(EXP_NAME)

   Si votre workspace n'est pas activé pour Unity Catalog, ou si vous n'avez pas accès à MLflow 2.15.0 ou une version ultérieure, spécifiez un chemin d'accès dans ce format : dbfs:/path/to/artifacts.

   Databricks recommande d'utiliser un volume Unity Catalog pour le stockage des artefacts. Si ni un volume Unity Catalog ni DBFS n'est une option appropriée, vous pouvez également stocker des artefacts directement sur S3 (non recommandé). Pour stocker des artefacts dans S3, spécifiez une URI de la forme s3://<bucket>/<path>. MLflow obtient les informations d'identification pour accéder à S3 à partir du profil d'instance de votre cluster. Les artefacts stockés dans S3 n'apparaissent pas dans l'interface utilisateur MLflow ; vous devez les download à l'aide d'un client de stockage d'objets.

   La limite de taille des fichiers pour l'upload et le download est de 5 Go.

remarque

Lorsque vous stockez un artefact à un emplacement autre que DBFS géré par MLflow (default) ou des volumes Unity Catalog, l'artefact n'apparaît pas dans l'interface utilisateur de MLflow. Les modèles stockés à d'autres emplacements que ceux-ci ne peuvent pas être enregistrés dans le Model Registry.

5. Cliquez sur Créer. La page de détails de l'Expérimentation pour la nouvelle expérimentation apparaît.

6. Pour enregistrer des runs pour cette expérimentation, appelez mlflow.set_experiment() avec le chemin d'expérimentation. Pour afficher le chemin d'Experimentation, cliquez sur l'icône d'information à droite du nom de l'Experimentation. Consultez Logs runs et modèles dans une Experimentation pour plus de détails et un Notebook d'exemple.

Créer une expérimentation à partir de la page Expérimentations

Pour créer une Experimentation d'affinement de modèle de fondation, d'AutoML ou personnalisée, cliquez sur Experimentations ou sélectionnez Nouveau > Experimentation dans la barre latérale gauche.

En haut de la page, sélectionnez l'une des options suivantes pour configurer une expérience :

• **Affinement du modèle de fondation**. La boîte de dialogue Affinement de modèle de fondation s'affiche. Pour plus de détails, consultez Créer une exécution d'entraînement à l'aide de l'IU d'affinement des modèles de fondation (déprécié).
• Prévision . La boîte de dialogue Configurer l'expérimentation de prévision apparaît. Pour plus de détails, consultez Configurer l'expérimentation AutoML.
• **Classification**. La boîte de dialogue Configurer une expérimentation de classification apparaît. Pour plus de détails, consultez Configurer une Experimentation de classification avec l'interface utilisateur.
• Régression. La boîte de dialogue Configurer une expérimentation de classification apparaît. Pour plus de détails, consultez Configurer l'expérimentation de régression avec l'interface utilisateur.
• Personnalisé . La boîte de dialogue Créer une expérience MLflow s'affiche. Pour plus de détails, voir l'étape 4 dans Créer une expérience à partir du Workspace.

Créer une Experimentation de Notebook

Lorsque vous utilisez la commande mlflow.start_run() dans un Notebook, l'exécution enregistre les métriques et les paramètres vers l'Experimentation active. Si aucune experimentation n'est active, Databricks crée une experimentation de notebook. Une expérimentation de notebook partage le même nom et le même ID que son notebook correspondant. L'ID du notebook est l'identifiant numérique à la fin d'une URL et d'un ID de notebook.

remarque

Les utilisateurs exécutant MLflow sur compute avec un accès de groupe dédié doivent vérifier que le groupe a l'autorisation d'écrire dans le répertoire où se trouve le Notebook, ou utiliser mlflow.set_tracking_uri("<path>") pour spécifier un dossier dans lequel MLflow doit écrire.

Vous pouvez également transmettre un chemin de workspace Databricks à un Notebook existant dans mlflow.set_experiment() afin de créer une expérimentation Notebook pour celui-ci.

Pour obtenir des instructions sur la journalisation des exécutions dans les Notebooks d'expérimentation, veuillez consulter Enregistrer les exécutions et les modèles dans une Experimentation.

remarque

Si vous supprimez une Expérimentation de Notebook à l'aide de l'API (par exemple, MlflowClient.tracking.delete_experiment() en Python), le Notebook lui-même est déplacé dans le dossier Corbeille.

Afficher les expérimentations

Chaque expérimentation à laquelle vous avez accès apparaît sur la page des expérimentations. À partir de cette page, vous pouvez consulter n'importe quelle experimentation. Cliquez sur un nom d'expérience pour afficher la page des détails de l'expérience.

Autres moyens d'accéder à la page de détails de l'expérimentation :

• Vous pouvez accéder à la page de détails de l'expérimentation pour une expérimentation du workspace depuis le menu du workspace.
• Vous pouvez accéder à la page des détails de l'Experimentation pour une Experimentation Notebook depuis le Notebook.

Pour rechercher des expérimentations, saisissez du texte dans le champ Filtrer les expérimentations et appuyez sur Entrée ou cliquez sur l'icône de loupe. La liste des expérimentations ne montre que les expérimentations qui contiennent le texte de recherche dans les colonnes Nom ou Emplacement .

Pour une utilisation avancée, vous pouvez saisir une requête de recherche pour tags.`mlflow.note.content` afin de rechercher en fonction de la colonne **Description**. Pour plus de détails sur la syntaxe, consultez Rechercher des expérimentations. Veuillez noter que, contrairement à la recherche par **Nom** ou **Emplacement**, la recherche par balises vous oblige à construire manuellement la query de recherche avec un identifiant et un comparateur. Il ne renverra pas directement tous les résultats qui contiennent le texte recherché.

Cliquez sur le nom de n’importe quelle Experimentation dans la table pour afficher sa page de détails d’Experimentation :

La page des détails de l'expérimentation répertorie toutes les exécutions associées à l'expérimentation. À partir du tableau, vous pouvez ouvrir la page d'exécution de toute exécution associée à l'Expérimentation en cliquant sur son **Nom de l'exécution**. La colonne Source vous donne accès à la version du Notebook qui a créé l'exécution. Vous pouvez également rechercher et filtrer les exécutions par métriques ou paramètres.

Afficher l'expérimentation du workspace

1. Cliquez sur Workspace dans la barre latérale.
2. Accédez au dossier contenant l'Experimentation.
3. Cliquez sur le nom de l'expérimentation.

Afficher l'Experimentation du Notebook

Dans la barre latérale droite du Notebook, cliquez sur l'icône Experimentation .

La barre latérale Exécutions d'expérimentation apparaît et affiche un résumé de chaque exécution associée à l'expérience du Notebook, y compris les paramètres d'exécution et les métriques. En haut de la barre latérale se trouve le nom de l'Experimentation vers laquelle le Notebook a le plus récemment enregistré des exécutions (soit une Experimentation de Notebook, soit une Experimentation de Workspace).

Depuis la barre latérale, vous pouvez naviguer vers la page de détails de l’expérimentation ou directement vers une exécution.

• Pour afficher l'expérimentation, cliquez sur à l'extrême droite, à côté de Exécutions d'expérimentation .
• Pour afficher une exécution, cliquez sur le nom de l'exécution.

Gérer les expérimentations

Vous pouvez renommer, supprimer ou gérer les autorisations d'une expérimentation que vous possédez depuis la page des expérimentations, la page des détails de l'expérimentation ou le menu du workspace.

remarque

Vous ne pouvez pas directement renommer, supprimer ou gérer les autorisations sur une expérience MLflow créée par un notebook dans un dossier Git Databricks. Vous devez effectuer ces actions au niveau du dossier Git.

Renommer l'expérimentation

Vous pouvez renommer une expérimentation que vous possédez depuis la page Expérimentations ou depuis la page de détails de cette expérimentation.

• Sur la page **Expériences**, cliquez sur le menu kebab dans la colonne la plus à droite, puis cliquez sur **Renommer**.

• Sur la page des détails de l'Experimentation, cliquez sur le menu kebab à côté de Autorisations , puis cliquez sur Renommer .

Vous pouvez renommer une Experimentation de Workspace depuis le Workspace. Cliquez avec le bouton droit sur le nom de l'experimentation, puis cliquez sur Renommer .

Obtenir l'ID d'expérimentation et le chemin d'accès à l'expérimentation

Sur la page des détails de l'expérimentation, vous pouvez obtenir le chemin d'accès à une expérimentation de notebook en cliquant sur l'icône d'informations à droite du nom de l'expérimentation. Une note pop-up apparaît qui affiche le chemin vers l'expérimentation, l'ID de l'expérimentation et l'emplacement de l'artefact. Vous pouvez utiliser l'ID de l'expérimentation dans la commande MLflow set_experiment pour définir l'expérimentation MLflow active.

Depuis un Notebook, vous pouvez copier le chemin complet de l'Experimentation en cliquant sur dans la barre latérale de l'Experimentation du Notebook.

Supprimer l'Experimentation du Notebook

Les Notebook expérimentations font partie du Notebook et ne peuvent pas être supprimées séparément. Lorsque vous supprimez un Notebook, l’expérimentation Notebook associée est supprimée. Lorsque vous supprimez une expérimentation de Notebook à l'aide de l'interface utilisateur, le Notebook est également supprimé.

Pour supprimer des expérimentations de Notebook à l'aide de l'API, utilisez l'API Workspace pour vous assurer que le Notebook et l'expérimentation sont supprimés du Workspace.

Supprimer un Workspace ou une Expérimentation de Notebook

Vous pouvez supprimer une expérimentation dont vous êtes propriétaire à partir de la page Expérimentations ou de la page des détails de l'expérimentation.

important

Lorsque vous supprimez une expérimentation de notebook, le notebook est également supprimé.

• Sur la page **Expérimentations**, cliquez sur le menu kebab dans la colonne la plus à droite, puis cliquez sur **Supprimer**.

• Sur la page de détails de l'Expérimentation, cliquez sur le menu kebab à côté de Autorisations , puis cliquez sur Supprimer .

Vous pouvez supprimer une expérimentation de Workspace depuis le Workspace. Cliquez avec le bouton droit sur le nom de l’expérience, puis cliquez sur Mettre à la corbeille .

Modifier les permissions pour une Experimentation

Pour modifier les autorisations d’une expérimentation à partir de la page des détails de l’expérimentation, cliquez sur **Autorisations**.

Vous pouvez modifier les autorisations d'une expérimentation que vous possédez depuis la page Expérimentations. Cliquez sur le menu kebab dans la colonne la plus à droite, puis cliquez sur Autorisations .

Pour obtenir des informations sur les niveaux d'autorisation d'expérimentation, consultez les listes de contrôle d'accès aux expérimentations MLflow.

Copier les Experimentations entre les Workspaces

Pour migrer des expérimentations MLflow entre les workspaces, vous pouvez utiliser le projet open source dirigé par la Communauté MLflow Export-Import.

Avec ces outils, vous pouvez :

• Partagez et collaborez avec d’autres data scientists dans le même serveur de suivi ou un autre. Par exemple, vous pouvez cloner une expérimentation d'un autre utilisateur dans votre workspace.
• Copiez les experiments et les exécutions MLflow de votre serveur de suivi local vers votre Databricks Workspace.
• Sauvegardez les Expérimentations et les modèles essentiels à la mission dans un autre Databricks Workspace.