Traçage Ollama

Ollama est une plateforme open source qui permet aux utilisateurs d'exécuter de grands modèles de langage (LLM) localement sur leurs appareils, tels que Llama 3.2, Gemma 2, Mistral, Code Llama et bien plus encore.

Étant donné que l'Endpoint LLM local servi par Ollama est compatible avec l'API OpenAI, vous pouvez le query via le SDK OpenAI et activer le traçage pour Ollama avec mlflow.openai.autolog(). Toutes les interactions LLM via Ollama seront enregistrées dans l'Experimentation MLflow active.

Python

import mlflow

mlflow.openai.autolog()

remarque

Sur les clusters de compute Serverless, la journalisation automatique pour les cadres de traçage genAI n'est pas activée automatiquement. Vous devez activer explicitement l'autologging en appelant la fonction mlflow.<library>.autolog() appropriée pour les intégrations spécifiques que vous souhaitez suivre.

Exemple d'utilisation

1. Exécutez le serveur Ollama avec le modèle LLM souhaité.

Bash

ollama run llama3.2:1b

2. Activez le traçage automatique pour le SDK OpenAI.

import mlflow

# Enable auto-tracing for OpenAI
mlflow.openai.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/ollama-demo")

3. Interrogez le LLM et visualisez les traces dans l'interface utilisateur de MLflow.

Python

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",  # The local Ollama REST endpoint
    api_key="dummy",  # Required to instantiate OpenAI client, it can be a random string
)

response = client.chat.completions.create(
    model="llama3.2:1b",
    messages=[
        {"role": "system", "content": "You are a science teacher."},
        {"role": "user", "content": "Why is the sky blue?"},
    ],
)

Désactiver le suivi automatique

Le traçage automatique pour Ollama peut être désactivé globalement en appelant mlflow.openai.autolog(disable=True) ou mlflow.autolog(disable=True).

Ressources supplémentaires

• Comprendre les concepts de traçage — Découvrez comment MLflow capture et organise les données de trace
• Déboguez et observez votre application - Utilisez l’interface utilisateur Trace pour analyser vos modèles Ollama exécutés localement
• Évaluez la qualité de votre application — Configurez l'évaluation de la qualité pour votre application optimisée par Ollama.