Traçage Groq

MLflow Tracing fournit une capacité de traçage automatique lors de l'utilisation de Groq. Lorsque le traçage automatique Groq est activé en appelant la fonction mlflow.groq.autolog, l'utilisation du SDK Groq enregistrera automatiquement les traces générées lors du développement interactif.

remarque

Sur les clusters de compute serverless, l'autologging n'est pas activé automatiquement. Vous devez appeler explicitement mlflow.groq.autolog() pour activer le traçage automatique de cette intégration.

Veuillez noter que seuls les appels synchrones sont pris en charge et que les méthodes d'API asynchrones et de streaming ne sont pas tracées.

Exemple d'utilisation

Python

import groq

import mlflow

# Turn on auto tracing for Groq by calling mlflow.groq.autolog()
mlflow.groq.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/groq-demo")

client = groq.Groq()

# Use the create method to create new message
message = client.chat.completions.create(
    model="llama-3.3-70b-versatile",
    messages=[
        {
            "role": "user",
            "content": "Explain the importance of low latency LLMs.",
        }
    ],
)

print(message.choices[0].message.content)

Désactiver le suivi automatique

Le traçage automatique pour Groq peut être désactivé globalement en appelant mlflow.groq.autolog(disable=True) ou mlflow.autolog(disable=True).

Ressources supplémentaires

• Comprendre les concepts de traçage — Découvrez comment MLflow capture et organise les données de trace
• Déboguez et observez votre application - Utilisez l’interface utilisateur Trace pour analyser le comportement de votre application Groq.
• Évaluez la qualité de votre application : Mettez en place une évaluation de la qualité pour votre application Groq.