Traçage Mistral

MLflow Tracing assure l’observabilité de vos interactions avec les modèles d’IA Mistral. Lorsque le traçage automatique Mistral est activé en appelant la fonction mlflow.mistral.autolog, l’utilisation du SDK Mistral enregistre automatiquement les traces générées pendant le développement interactif.

Notez que seuls les appels synchrones à l'API de génération de texte sont pris en charge, et que les API asynchrones et les méthodes de streaming ne sont pas tracées.

Prérequis

Avant d'exécuter les exemples ci-dessous, assurez-vous d'avoir :

1. Identifiants Databricks configurés : Si vous exécutez en dehors de Databricks, définissez vos variables d'environnement :

   Bash

   export DATABRICKS_HOST="https://your-workspace.cloud.databricks.com"
   export DATABRICKS_TOKEN="your-personal-access-token"

astuce

Si vous exécutez dans un Notebook Databricks, ceux-ci sont automatiquement configurés pour vous.

2. Clé API Mistral : assurez-vous que votre clé API est configurée. Pour les environnements de production, utilisez AI Gateway ou les secrets Databricks au lieu de valeurs codées en dur pour une gestion sécurisée des clés API :

   Bash

   export MISTRAL_API_KEY="your-mistral-api-key"

Exemple d'utilisation

remarque

Sur les clusters de compute Serverless, la journalisation automatique pour les cadres de traçage genAI n'est pas activée automatiquement. Vous devez activer explicitement l'autologging en appelant la fonction mlflow.<library>.autolog() appropriée pour les intégrations spécifiques que vous souhaitez suivre.

Python

import os

from mistralai import Mistral

import mlflow

# Turn on auto tracing for Mistral AI by calling mlflow.mistral.autolog()
mlflow.mistral.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/mistral-demo")

# Configure your API key.
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Use the chat complete method to create new chat.
chat_response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": "Who is the best French painter? Answer in one short sentence.",
        },
    ],
)
print(chat_response.choices[0].message)

attention

Pour les environnements de production, utilisez AI Gateway ou les secrets Databricks au lieu de valeurs codées en dur pour la gestion sécurisée des clés API.

Désactiver le suivi automatique

Le traçage automatique pour Mistral peut être désactivé globalement en appelant mlflow.mistral.autolog(disable=True) ou mlflow.autolog(disable=True).

Ressources supplémentaires

• Comprendre les concepts de traçage — Découvrez comment MLflow capture et organise les données de trace
• Déboguez et observez votre application — Utilisez l’interface utilisateur Trace pour analyser le comportement de votre application Mistral
• Évaluez la qualité de votre application – Mettez en place l'évaluation de la qualité pour votre application optimisée par Mistral.