Référence de l'API MLflow

Cette page fournit un index des API MLflow importantes utilisées dans les agents, avec des liens directs vers la documentation officielle de MLflow.

Les fonctionnalités MLflow marquées comme « exclusives à Databricks » sont uniquement disponibles sur MLflow géré par Databricks.

Liens rapides

• Toutes les APIs Python MLflow

• APIs principales de MLflow

• Module GenAI de MLflow

  • MLflow Tracing APIs
  • Référence de dataset d'évaluation
  • Référence du monitoring de production

• API clientes MLflow

• Entités MLflow

info

Fonctionnalités Bêta et expérimentales

Certaines des APIs référencées sur cette page sont actuellement en phase bêta ou expérimentale. Ces APIs sont susceptibles d’être modifiées ou supprimées dans les futures versions. Les APIs expérimentales sont accessibles à tous les clients, et les APIs bêta sont accessibles à la plupart des clients automatiquement. Si vous n'avez pas accès à une API Bêta et devez demander l'accès, contactez votre représentant du support Databricks.

Gestion de l'expérimentation

Gérez les expérimentations et exécutions MLflow pour le suivi du développement des agents :

SDK

• mlflow.search_runs() - Rechercher et filtrer les exécutions selon des critères
• mlflow.set_experiment() — Définir l'expérimentation MLflow active
• mlflow.start_run() - start un nouveau run MLflow pour le suivi

Entités

• mlflow.entities.Experiment – Métadonnées et configuration d'Expérimentation
• mlflow.entities.Run – Métadonnées, métriques et paramètres d’exécution.

Traçage

Instrumentez et capturez les traces d’exécution des agents :

SDK

• mlflow.delete_trace_tag() – Supprimer une balise d'une trace
• mlflow.get_current_active_span() - Obtenir l'étendue actuellement active
• mlflow.get_last_active_trace() - Récupérer la trace la plus récemment terminée
• mlflow.get_last_active_trace_id() - Obtenir l'ID de la dernière trace active
• mlflow.get_trace() – Récupérer une trace par ID
• mlflow.search_traces() - Rechercher et filtrer les traces
• mlflow.set_trace_tag() – Ajoutez une étiquette à une trace
• mlflow.start_span() - Manually start a new span
• mlflow.trace - Décorateur pour tracer automatiquement l'exécution de fonction
• mlflow.traceName - Gestionnaire de contexte pour définir le nom de la trace
• mlflow.traceOutputs – Gestionnaire de contexte pour définir les sorties de trace
• mlflow.tracing - Module de traçage avec fonctions de configuration
• mlflow.tracing.disable – Désactiver le traçage globalement
• mlflow.tracing.disable_notebook_display() - Désactiver l'affichage des traces dans les Notebooks
• mlflow.tracing.enable - Activer le traçage globalement
• mlflow.tracing.enable_notebook_display() - Activez l'affichage des traces dans les Notebooks
• mlflow.update_current_trace() - Mettre à jour les métadonnées de la trace actuelle

Entités

• mlflow.entities.Trace — Trace complète avec toutes les étendues et métadonnées
• mlflow.entities.TraceData - Données d'exécution de trace
• mlflow.entities.TraceInfo – Métadonnées de trace et information récapitulative
• mlflow.entities.Span – Span individuel dans une trace
• mlflow.entities.SpanEvent - Événement se produisant dans une étendue
• mlflow.entities.SpanType - Énumération de classification de type d’étendue
• mlflow.entities.Document — Entité de document pour les applications RAG

Intégrations de traçage

Auto-instrumentation pour les frameworks et bibliothèques GenAI qui fournissent une fonction autolog() dédiée. Pour obtenir la liste complète des intégrations prises en charge, y compris celles suivies via un client compatible OpenAI, consultez Intégrations de MLflow Tracing.

• mlflow.ag2.autolog – intégration d’AG2
• mlflow.agno.autolog - Intégration d'Agno
• mlflow.anthropic.autolog - Intégration Anthropic Claude
• mlflow.autogen.autolog – Intégration Microsoft AutoGen
• mlflow.bedrock.autolog – intégration AWS Bedrock
• mlflow.crewai.autolog – Intégration CrewAI
• mlflow.dspy.autolog -Intégration DSPy
• mlflow.gemini.autolog - Intégration de Google Gemini
• mlflow.groq.autolog – intégration Groq
• mlflow.haystack.autolog - Intégration Haystack
• mlflow.langchain.autolog – Intégration de LangChain
• mlflow.litellm.autolog - Intégration LiteLLM
• mlflow.llama_index.autolog - Intégration LlamaIndex
• mlflow.mistral.autolog - Intégration de Mistral AI
• mlflow.openai.autolog - Intégration OpenAI
• mlflow.pydantic_ai.autolog - Intégration de PydanticAI
• mlflow.smolagents.autolog - Intégration de Smolagents
• mlflow.strands.autolog — Intégration de Strands Agents

Évaluation et monitoring

SDK d'évaluation de base

APIs principales pour l'évaluation hors ligne et le monitoring de la production :

• mlflow.genai.evaluate() - Harnais d'évaluation pour orchestrer l'évaluation hors ligne avec des évaluateurs et des datasets
• mlflow.genai.to_predict_fn() – Convertir la sortie du modèle au format de fonction de prédiction standardisé
• mlflow.genai.Scorer – Classe d'évaluateur personnalisée pour une implémentation orientée objet avec gestion de l'état
• mlflow.genai.scorer() – Décorateur d'évaluateur pour la création d'évaluateurs et la logique d'évaluation

Scoreurs intégrés

Évaluateurs de qualité prêts à l’emploi. Consultez les juges LLM intégrés pour découvrir ce que chacun évalue.

Évaluateurs à un tour :

• mlflow.genai.scorers.Safety - Évaluation de la sécurité du contenu
• mlflow.genai.scorers.Correctness – Évaluation de la précision des réponses
• mlflow.genai.scorers.RelevanceToQuery - score de pertinence de la query
• mlflow.genai.scorers.Guidelines - Conformité personnalisée aux directives
• mlflow.genai.scorers.ExpectationsGuidelines - Évaluation des directives avec attentes
• mlflow.genai.scorers.RetrievalGroundedness - Évaluation de la mise à la terre RAG
• mlflow.genai.scorers.RetrievalRelevance – Pertinence du contexte récupéré
• mlflow.genai.scorers.RetrievalSufficiency – Évaluation de la suffisance du contexte

Évaluateurs d'appel d'outil :

• mlflow.genai.scorers.ToolCallCorrectness : appels d’outils et arguments corrects pour la requête
• mlflow.genai.scorers.ToolCallEfficiency – Utilisation d'outils efficace et non redondante

Évaluateurs multi-tour (conversation) :

• mlflow.genai.scorers.ConversationCompleteness – Toutes les questions des utilisateurs ont reçu une réponse au cours de la conversation
• mlflow.genai.scorers.UserFrustration – Détection et résolution de la frustration des utilisateurs
• mlflow.genai.scorers.KnowledgeRetention - Rétention des informations issues des tours précédents
• mlflow.genai.scorers.ConversationalGuidelines — Conformité aux consignes tout au long de la conversation
• mlflow.genai.scorers.ConversationalRoleAdherence — Respect du rôle attribué
• mlflow.genai.scorers.ConversationalSafety – Réponses sûres tout au long de la conversation
• mlflow.genai.scorers.ConversationalToolCallEfficiency – Utilisation efficace des outils tout au long de la conversation

Aides :

• mlflow.genai.scorers.get_all_scorers() - Récupérer tous les évaluateurs intégrés

Cycle de vie du SDK pour les évaluateurs de monitoring de la production

info

Bêta

Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.

Gestion du cycle de vie des évaluateurs pour un suivi continu de la qualité en production :

Méthodes d'instance de scorer

• Scorer.register() – Enregistrer l'évaluateur personnalisé avec le serveur
• Scorer.start() - Lancer l'évaluation en ligne avec échantillonnage
• Scorer.update() - Modifier la configuration d’échantillonnage
• Scorer.stop() - Arrêter l'évaluation en ligne

Fonctions de registre de l'évaluateur

• mlflow.genai.scorers.get_scorer() - Récupérer l’évaluateur enregistré par nom
• mlflow.genai.scorers.list_scorers() – Liste de tous les évaluateurs enregistrés
• mlflow.genai.scorers.delete_scorer() – Supprimer les évaluateurs enregistrés par nom

Propriétés du scorer

• Scorer.sample_rate - Taux d'échantillonnage actuel (0,0-1,0)
• Scorer.filter_string - Filtre de trace actuel

Classes de configuration

• mlflow.genai.ScorerSamplingConfig - Classe de données de configuration d'échantillonnage

Entités d'évaluation

Structures de données pour le stockage des résultats d'évaluation et des commentaires :

• mlflow.entities.Assessment – Conteneur de résultats d'évaluation
• mlflow.entities.AssessmentError – Détails de l'erreur d'évaluation
• mlflow.entities.AssessmentSource - Source de l'évaluation
• mlflow.entities.AssessmentSourceType - Énumération des types de source d'évaluation
• mlflow.entities.Expectation – Résultat de la vérité de terrain attendue
• mlflow.entities.Feedback - Sortie du Scorer avec valeur et justification

Jeux de données d'évaluation

Créer et gérer des dataset de test versionnés pour une évaluation systématique :

SDK

• mlflow.genai.create_dataset() - Créer un nouveau dataset
• mlflow.genai.delete_dataset() - Supprimer un dataset d'évaluation
• mlflow.genai.get_dataset() – Récupérer un dataset d'évaluation existant

Entités

• mlflow.genai.datasets.EvaluationDataset - Conteneur de données de test versionnées
  • merge_records() - Combiner les enregistrements provenant de plusieurs sources
  • set_profile() - Configurer les paramètres du profil de dataset
  • to_df() – Convertir un dataset en DataFrame pandas
  • to_evaluation_dataset() – Convertir au format de dataset d'évaluation.

Application d'étiquetage et d'examen humain (Databricks uniquement)

Flux de travail de collecte et de révision du feedback humain pour une évaluation systématique de la qualité :

SDK de session d’étiquetage

• mlflow.genai.create_labeling_session() — Créez une nouvelle session d’étiquetage
• mlflow.genai.delete_labeling_session() - Supprimer une session d’étiquetage
• mlflow.genai.get_labeling_session() - Récupérer la session d'étiquetage par ID
• mlflow.genai.get_labeling_sessions() – Lister toutes les sessions d'étiquetage
• mlflow.genai.get_review_app() — Récupérer l'instance d'application de révision

Types de schéma d'étiquettes

• mlflow.genai.label_schemas.InputCategorical - Type de champ de saisie catégoriel
• mlflow.genai.label_schemas.InputCategoricalList – Entrée catégorielle à sélection multiple
• mlflow.genai.label_schemas.InputNumeric - Type de champ de saisie numérique
• mlflow.genai.label_schemas.InputText - Type de champ de saisie de texte
• mlflow.genai.label_schemas.InputTextList - Type de champ de saisie multi-texte
• mlflow.genai.label_schemas.LabelSchema - Définition du schéma d'étiquetage
• mlflow.genai.label_schemas.LabelSchemaType - Énumération du type de schéma
  • mlflow.genai.label_schemas.LabelSchemaType.EXPECTATION - Type de schéma d'attente
  • mlflow.genai.label_schemas.LabelSchemaType.FEEDBACK - Type de schéma de retour d'information

SDK de schéma d'étiquetage

• mlflow.genai.label_schemas.create_label_schema() - Créer un nouveau schéma d'étiquettes
• mlflow.genai.label_schemas.delete_label_schema() - Supprimer un schéma d'étiquetage existant
• mlflow.genai.label_schemas.get_label_schema() - Récupérer le schéma d'étiquette par nom

Entités

• mlflow.genai.Agent – Configuration de l'agent pour les tests d'application de révision

• mlflow.genai.LabelingSession — Gestionnaire de flux de travail d'étiquetage humain

  • add_dataset() - Ajouter le dataset d'évaluation à la session d'étiquetage
  • add_traces() - Ajouter des traces pour examen humain
  • set_assigned_users() - Attribuer des réviseurs à la session
  • sync() - Synchroniser l'état de la session

• mlflow.genai.ReviewApp - Application d'examen interactive

  • add_agent() - Ajouter un agent pour les tests
  • remove_agent() – Supprimer l'agent de l'application de révision

Gestion des prompts

Contrôle des versions et gestion du cycle de vie des prompts utilisés dans les agents :

SDK

• mlflow.genai.load_prompt() – Charger une invite versionnée depuis le registre
• mlflow.genai.optimize_prompts() - Améliorer automatiquement les invites à l'aide d'algorithmes d'optimisation.
• mlflow.genai.register_prompt() - Enregistrer une nouvelle invite dans le registre
• mlflow.genai.search_prompts() - Rechercher des invites par nom ou par tags
• mlflow.genai.delete_prompt_alias() - Supprimer un alias d’une version d’invite
• mlflow.genai.set_prompt_alias() - Attribuez un alias à une version d'invite

Entités

• mlflow.entities.Prompt – Métadonnées et informations de version du prompt

Optimisation des Prompts

info

Bêta

Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.

Amélioration automatisée des prompts à l'aide d'algorithmes d'optimisation data-driven :

SDK

• mlflow.genai.optimize_prompts() – Exécuter le processus d'optimisation des invites

Optimiseurs

• mlflow.genai.optimize.GepaPromptOptimizer - Optimiseur itératif qui affine les prompts à l'aide d'une réflexion pilotée par LLM
• mlflow.genai.optimize.MetaPromptOptimizer - Optimiseur à passage unique qui applique le métaprompting
• mlflow.genai.optimize.BasePromptOptimizer - Classe de base pour l'implémentation d'un optimiseur personnalisé

Entités

• mlflow.genai.optimize.PromptOptimizationResult - Résultats d'optimisation et métriques
• mlflow.genai.optimize.PromptOptimizerOutput - Résultat renvoyé par la méthode optimize() d'un optimiseur personnalisé

Suivi des versions d'applications

Suivez et gérez les versions des agents en production :

SDK

• mlflow.set_active_model() – Définir le modèle actif pour le suivi des versions
• mlflow.clear_active_model() - Effacer le contexte du modèle actif
• mlflow.get_active_model_id() - Obtenir l'ID du modèle actif actuel
• mlflow.create_external_model() - Enregistrer un déploiement de modèle externe
• mlflow.delete_logged_model_tag() - Supprimer un tag du modèle enregistré
• mlflow.finalize_logged_model() – Finaliser un modèle enregistré
• mlflow.get_logged_model() – Récupérer le modèle journalisé par ID
• mlflow.initialize_logged_model() - Initialiser un nouveau modèle enregistré
• mlflow.last_logged_model() - Obtenir le modèle le plus récemment enregistré
• mlflow.search_logged_models() - Rechercher des modèles enregistrés
• mlflow.set_logged_model_tags() – Ajoutez des tags au modèle enregistré
• mlflow.log_model_params() - Log paramètres pour un modèle

Entités

• mlflow.entities.LoggedModel - Métadonnées et informations du modèle journalisé
• mlflow.entities.LoggedModelStatus - Énumération de l'état du modèle enregistré
• mlflow.ActiveModel – Gestionnaire de contexte de modèle actif