Pular para o conteúdo principal

Rastreando Ollama

Rastreamento de Ollama via registro automático

A Ollama é uma plataforma de código aberto que permite aos usuários executar modelos de linguagem de grande porte (LLMs) localmente em seus dispositivos, como Llama 3.2, Gemma 2, Mistral, Code Llama, entre outros.

Como o site local LLM endpoint servido pelo Ollama é compatível com o OpenAI API, o senhor pode consultá-lo por meio do OpenAI SDK e ativar o rastreamento para o Ollama com mlflow.openai.autolog(). Todas as interações do LLM via Ollama serão registradas no experimento MLflow ativo.

Python
import mlflow

mlflow.openai.autolog()

Exemplo de uso​

  1. executar o servidor Ollama com o modelo LLM desejado.
Bash
ollama run llama3.2:1b
  1. Habilite o rastreamento automático para o OpenAI SDK.
import mlflow

# Enable auto-tracing for OpenAI
mlflow.openai.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/ollama-demo")
  1. Consulte o LLM e veja os traços na interface do usuário do MLflow.
Python
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",  # The local Ollama REST endpoint
    api_key="dummy",  # Required to instantiate OpenAI client, it can be a random string
)

response = client.chat.completions.create(
    model="llama3.2:1b",
    messages=[
        {"role": "system", "content": "You are a science teacher."},
        {"role": "user", "content": "Why is the sky blue?"},
    ],
)

Desativar o rastreamento automático​

O rastreamento automático do Ollama pode ser desativado globalmente ligando para mlflow.openai.autolog(disable=True) ou mlflow.autolog(disable=True).

Próximas etapas​

Última atualização em