Aller au contenu principal
Dernière mise à jour le

Instructeur de traçage

Traçage de l'instructeur à l'aide d'autolog

Instructor est une bibliothèque Python open source conçue sur Pydantic, qui simplifie les sorties LLM structurées avec la validation, les nouvelles tentatives et le streaming.

MLflow Tracing fonctionne avec Instructor en activant le traçage automatique pour les bibliothèques LLM sous-jacentes. Par exemple, si vous utilisez Instructor pour les LLM OpenAI, vous pouvez activer le traçage avec mlflow.openai.autolog() et les traces générées captureront les sorties structurées d'Instructor.

De même, vous pouvez également tracer Instructor avec d’autres fournisseurs de LLM, tels que Anthropic, Gemini et LiteLLM, en activant l’autologging correspondant dans MLflow.

remarque

Sur les clusters de compute serverless, l'autologging n'est pas activé automatiquement. Vous devez appeler explicitement la fonction d'autolog appropriée (par exemple mlflow.openai.autolog() oumlflow.anthropic.autolog()) pour activer le traçage automatique de cette intégration.

Exemple d'utilisation​

L'exemple suivant montre comment tracer un appel d'Instructeur qui englobe une API OpenAI.

Python
import instructor
from pydantic import BaseModel
from openai import OpenAI
import mlflow

# Use other autologging function e.g., mlflow.anthropic.autolog() if you are using Instructor with different LLM providers
mlflow.openai.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/instructor-demo")


# Use Instructor as usual
class ExtractUser(BaseModel):
    name: str
    age: int


client = instructor.from_openai(OpenAI())

res = client.chat.completions.create(
    model="gpt-4o-mini",
    response_model=ExtractUser,
    messages=[{"role": "user", "content": "John Doe is 30 years old."}],
)
print(f"Name: {res.name}, Age:{res.age}")

Ressources supplémentaires​

Sur cette page