Référence de l'API MLflow

Cette page fournit un index des APIs MLflow importantes utilisées dans les applications GenAI, avec des liens directs vers la documentation officielle de MLflow.

Les fonctionnalités MLflow marquées comme « exclusives à Databricks » sont uniquement disponibles sur MLflow géré par Databricks.

Liens rapides

• Toutes les APIs Python MLflow

• APIs principales de MLflow

• Module GenAI de MLflow

  • MLflow Tracing APIs
  • Référence de dataset d'évaluation
  • Référence du monitoring de production

• API clientes MLflow

• Entités MLflow

info

Fonctionnalités Bêta et expérimentales

Certaines des APIs référencées sur cette page sont actuellement en phase bêta ou expérimentale. Ces APIs sont susceptibles d’être modifiées ou supprimées dans les futures versions. Les APIs expérimentales sont accessibles à tous les clients, et les APIs bêta sont accessibles à la plupart des clients automatiquement. Si vous n'avez pas accès à une API Bêta et devez demander l'accès, contactez votre représentant du support Databricks.

Gestion de l'expérimentation

Gérez les expériences et les exécutions MLflow pour le suivi du développement d'applications GenAI :

SDK

• mlflow.search_runs() - Rechercher et filtrer les exécutions selon des critères
• mlflow.set_experiment() — Définir l'expérimentation MLflow active
• mlflow.start_run() - start un nouveau run MLflow pour le suivi

Entités

• mlflow.entities.Experiment – Métadonnées et configuration d'Expérimentation
• mlflow.entities.Run – Métadonnées, métriques et paramètres d’exécution.

Traçage

Instrumentez et capturez les traces d'exécution à partir des applications GenAI :

SDK

• mlflow.delete_trace_tag() – Supprimer une balise d'une trace
• mlflow.get_current_active_span() - Obtenir l'étendue actuellement active
• mlflow.get_last_active_trace() - Récupérer la trace la plus récemment terminée
• mlflow.get_last_active_trace_id() - Obtenir l'ID de la dernière trace active
• mlflow.get_trace() – Récupérer une trace par ID
• mlflow.search_traces() - Rechercher et filtrer les traces
• mlflow.set_trace_tag() – Ajoutez une étiquette à une trace
• mlflow.start_span() - Manually start a new span
• mlflow.trace - Décorateur pour tracer automatiquement l'exécution de fonction
• mlflow.traceName - Gestionnaire de contexte pour définir le nom de la trace
• mlflow.traceOutputs – Gestionnaire de contexte pour définir les sorties de trace
• mlflow.tracing - Module de traçage avec fonctions de configuration
• mlflow.tracing.disable – Désactiver le traçage globalement
• mlflow.tracing.disable_notebook_display() - Désactiver l'affichage des traces dans les Notebooks
• mlflow.tracing.enable - Activer le traçage globalement
• mlflow.tracing.enable_notebook_display() - Activez l'affichage des traces dans les Notebooks
• mlflow.update_current_trace() - Mettre à jour les métadonnées de la trace actuelle

Entités

• mlflow.entities.Trace — Trace complète avec toutes les étendues et métadonnées
• mlflow.entities.TraceData - Données d'exécution de trace
• mlflow.entities.TraceInfo – Métadonnées de trace et information récapitulative
• mlflow.entities.Span – Span individuel dans une trace
• mlflow.entities.SpanEvent - Événement se produisant dans une étendue
• mlflow.entities.SpanType - Énumération de classification de type d’étendue
• mlflow.entities.Document — Entité de document pour les applications RAG

Intégrations de traçage

Auto-instrumentation pour les frameworks et bibliothèques GenAI populaires :

• mlflow.anthropic.autolog - Intégration Anthropic Claude
• mlflow.autogen.autolog – Intégration Microsoft AutoGen
• mlflow.bedrock.autolog – intégration AWS Bedrock
• mlflow.crewai.autolog – Intégration CrewAI
• mlflow.dspy.autolog -Intégration DSPy
• mlflow.gemini.autolog - Intégration de Google Gemini
• mlflow.groq.autolog – intégration Groq
• mlflow.langchain.autolog – Intégration de LangChain
• mlflow.litellm.autolog - Intégration LiteLLM
• mlflow.llama_index.autolog - Intégration LlamaIndex
• mlflow.mistral.autolog - Intégration de Mistral AI
• mlflow.openai.autolog - Intégration OpenAI

Évaluation et monitoring

SDK d'évaluation de base

APIs principales pour l'évaluation hors ligne et le monitoring de la production :

• mlflow.genai.evaluate() - Harnais d'évaluation pour orchestrer l'évaluation hors ligne avec des évaluateurs et des datasets
• mlflow.genai.to_predict_fn() – Convertir la sortie du modèle au format de fonction de prédiction standardisé
• mlflow.genai.Scorer – Classe d'évaluateur personnalisée pour une implémentation orientée objet avec gestion de l'état
• mlflow.genai.scorer() – Décorateur d'évaluateur pour la création d'évaluateurs et la logique d'évaluation

Scoreurs intégrés

Évaluateurs de qualité prêts à l'emploi immédiat :

• mlflow.genai.scorers.Safety - Évaluation de la sécurité du contenu
• mlflow.genai.scorers.Correctness – Évaluation de la précision des réponses
• mlflow.genai.scorers.RelevanceToQuery - score de pertinence de la query
• mlflow.genai.scorers.Guidelines - Conformité personnalisée aux directives
• mlflow.genai.scorers.ExpectationsGuidelines - Évaluation des directives avec attentes
• mlflow.genai.scorers.RetrievalGroundedness - Évaluation de la mise à la terre RAG
• mlflow.genai.scorers.RetrievalRelevance – Pertinence du contexte récupéré
• mlflow.genai.scorers.RetrievalSufficiency – Évaluation de la suffisance du contexte

Aides intégrées aux évaluateurs :

• mlflow.genai.scorers.get_all_scorers() - Récupérer tous les évaluateurs intégrés

Fonctions de juge

Fonctions d'évaluation basées sur les LLM pour une utilisation directe ou un habillage d'évaluateur :

• mlflow.genai.judges.is_safe() - évaluation de sécurité
• mlflow.genai.judges.is_correct() – Évaluation de l'exactitude
• mlflow.genai.judges.is_grounded() - Vérification de l'ancrage
• mlflow.genai.judges.is_context_relevant() - Pertinence du contexte
• mlflow.genai.judges.is_context_sufficient() – Suffisance du contexte
• mlflow.genai.judges.meets_guidelines() Évaluation personnalisée des directives
• mlflow.genai.make_judge() - Créez des juges personnalisés

Entités de sortie du juge

• mlflow.genai.judges.CategoricalRating – Énumération pour les réponses catégorielles du juge
  • mlflow.genai.judges.CategoricalRating.YES - Évaluation positive
  • mlflow.genai.judges.CategoricalRating.NO – Évaluation négative
  • mlflow.genai.judges.CategoricalRating.UNKNOWN – Évaluation incertaine

SDK de cycle de vie du monitoring de production des évaluateurs (Databricks uniquement)

info

Bêta

Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.

Gestion du cycle de vie des évaluateurs pour un suivi continu de la qualité en production :

Méthodes d'instance de scorer

• Scorer.register() – Enregistrer l'évaluateur personnalisé avec le serveur
• Scorer.start() - Lancer l'évaluation en ligne avec échantillonnage
• Scorer.update() - Modifier la configuration d’échantillonnage
• Scorer.stop() - Arrêter l'évaluation en ligne

Fonctions de registre de l'évaluateur

• mlflow.genai.scorers.get_scorer() - Récupérer l’évaluateur enregistré par nom
• mlflow.genai.scorers.list_scorers() – Liste de tous les évaluateurs enregistrés
• mlflow.genai.scorers.delete_scorer() – Supprimer les évaluateurs enregistrés par nom

Propriétés du scorer

• Scorer.sample_rate - Taux d'échantillonnage actuel (0,0-1,0)
• Scorer.filter_string - Filtre de trace actuel

Classes de configuration

• mlflow.genai.ScorerSamplingConfig - Classe de données de configuration d'échantillonnage

Entités d'évaluation

Structures de données pour le stockage des résultats d'évaluation et des commentaires :

• mlflow.entities.Assessment – Conteneur de résultats d'évaluation
• mlflow.entities.AssessmentError – Détails de l'erreur d'évaluation
• mlflow.entities.AssessmentSource - Source de l'évaluation
• mlflow.entities.AssessmentSourceType - Énumération des types de source d'évaluation
• mlflow.entities.Expectation – Résultat de la vérité de terrain attendue
• mlflow.entities.Feedback - Sortie du Scorer avec valeur et justification

Jeux de données d'évaluation

Créer et gérer des dataset de test versionnés pour une évaluation systématique :

SDK

• mlflow.genai.create_dataset() - Créer un nouveau dataset
• mlflow.genai.delete_dataset() - Supprimer un dataset d'évaluation
• mlflow.genai.get_dataset() – Récupérer un dataset d'évaluation existant

Entités

• mlflow.genai.datasets.EvaluationDataset - Conteneur de données de test versionnées
  • merge_records() - Combiner les enregistrements provenant de plusieurs sources
  • set_profile() - Configurer les paramètres du profil de dataset
  • to_df() – Convertir un dataset en DataFrame pandas
  • to_evaluation_dataset() – Convertir au format de dataset d'évaluation.

Application d'étiquetage et d'examen humain (Databricks uniquement)

Flux de travail de collecte et de révision du feedback humain pour une évaluation systématique de la qualité :

SDK de session d’étiquetage

• mlflow.genai.create_labeling_session() — Créez une nouvelle session d’étiquetage
• mlflow.genai.delete_labeling_session() - Supprimer une session d’étiquetage
• mlflow.genai.get_labeling_session() - Récupérer la session d'étiquetage par ID
• mlflow.genai.get_labeling_sessions() – Lister toutes les sessions d'étiquetage
• mlflow.genai.get_review_app() — Récupérer l'instance d'application de révision

Types de schéma d'étiquettes

• mlflow.genai.label_schemas.InputCategorical - Type de champ de saisie catégoriel
• mlflow.genai.label_schemas.InputCategoricalList – Entrée catégorielle à sélection multiple
• mlflow.genai.label_schemas.InputNumeric - Type de champ de saisie numérique
• mlflow.genai.label_schemas.InputText - Type de champ de saisie de texte
• mlflow.genai.label_schemas.InputTextList - Type de champ de saisie multi-texte
• mlflow.genai.label_schemas.LabelSchema - Définition du schéma d'étiquetage
• mlflow.genai.label_schemas.LabelSchemaType - Énumération du type de schéma
  • mlflow.genai.label_schemas.LabelSchemaType.EXPECTATION - Type de schéma d'attente
  • mlflow.genai.label_schemas.LabelSchemaType.FEEDBACK - Type de schéma de retour d'information

SDK de schéma d'étiquetage

• mlflow.genai.label_schemas.create_label_schema() - Créer un nouveau schéma d'étiquettes
• mlflow.genai.label_schemas.delete_label_schema() - Supprimer un schéma d'étiquetage existant
• mlflow.genai.label_schemas.get_label_schema() - Récupérer le schéma d'étiquette par nom

Entités

• mlflow.genai.Agent – Configuration de l'agent pour les tests d'application de révision

• mlflow.genai.LabelingSession — Gestionnaire de flux de travail d'étiquetage humain

  • add_dataset() - Ajouter le dataset d'évaluation à la session d'étiquetage
  • add_traces() - Ajouter des traces pour examen humain
  • set_assigned_users() - Attribuer des réviseurs à la session
  • sync() - Synchroniser l'état de la session

• mlflow.genai.ReviewApp - Application d'examen interactive

  • add_agent() - Ajouter un agent pour les tests
  • remove_agent() – Supprimer l'agent de l'application de révision

Gestion des prompts

Contrôle de version et gestion du cycle de vie pour les invites utilisées dans les applications GenAI :

SDK

• mlflow.genai.load_prompt() – Charger une invite versionnée depuis le registre
• mlflow.genai.optimize_prompt() - Améliorer automatiquement les invites à l'aide d'algorithmes d'optimisation.
• mlflow.genai.register_prompt() - Enregistrer une nouvelle invite dans le registre
• mlflow.genai.search_prompts() - Rechercher des invites par nom ou par tags
• mlflow.genai.delete_prompt_alias() - Supprimer un alias d’une version d’invite
• mlflow.genai.set_prompt_alias() - Attribuez un alias à une version d'invite

Entités

• mlflow.entities.Prompt – Métadonnées et informations de version du prompt

Optimisation des Prompts

info

Bêta

Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.

Amélioration automatisée des prompts à l'aide d'algorithmes d'optimisation data-driven :

SDK

• mlflow.genai.optimize.optimize_prompt() – Exécuter le processus d'optimisation des invites

Entités

• mlflow.genai.optimize.LLMParams - paramètres de configuration LLM
• mlflow.genai.optimize.OptimizerConfig - Configuration de l'algorithme d'optimisation
• mlflow.genai.optimize.PromptOptimizationResult - Résultats d'optimisation et métriques

Suivi des versions d'applications

Suivre et gérer les versions des applications GenAI en production :

SDK

• mlflow.set_active_model() – Définir le modèle actif pour le suivi des versions
• mlflow.clear_active_model() - Effacer le contexte du modèle actif
• mlflow.get_active_model_id() - Obtenir l'ID du modèle actif actuel
• mlflow.create_external_model() - Enregistrer un déploiement de modèle externe
• mlflow.delete_logged_model_tag() - Supprimer un tag du modèle enregistré
• mlflow.finalize_logged_model() – Finaliser un modèle enregistré
• mlflow.get_logged_model() – Récupérer le modèle journalisé par ID
• mlflow.initialize_logged_model() - Initialiser un nouveau modèle enregistré
• mlflow.last_logged_model() - Obtenir le modèle le plus récemment enregistré
• mlflow.search_logged_models() - Rechercher des modèles enregistrés
• mlflow.set_logged_model_tags() – Ajoutez des tags au modèle enregistré
• mlflow.log_model_params() - Log paramètres pour un modèle

Entités

• mlflow.entities.LoggedModel - Métadonnées et informations du modèle journalisé
• mlflow.entities.LoggedModelStatus - Énumération de l'état du modèle enregistré
• mlflow.ActiveModel – Gestionnaire de contexte de modèle actif