Pular para o conteúdo principal

Rastreando Ollama

Rastreamento de Ollama via registro automático

A Ollama é uma plataforma de código aberto que permite aos usuários executar modelos de linguagem de grande porte (LLMs) localmente em seus dispositivos, como Llama 3.2, Gemma 2, Mistral, Code Llama, entre outros.

Como o endpoint LLM local atendido pelo Ollama é compatível com a API OpenAI, é possível consultá-lo por meio do SDK OpenAI e habilitar o rastreamento para o Ollama com mlflow.openai.autolog(). Todas as interações do LLM através do Ollama serão registradas no Experimento MLflow ativo.

Python
import mlflow

mlflow.openai.autolog()

Exemplo de uso​

  1. executar o servidor Ollama com o modelo LLM desejado.
Bash
ollama run llama3.2:1b
  1. Habilite o rastreamento automático para o OpenAI SDK.
import mlflow

# Enable auto-tracing for OpenAI
mlflow.openai.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/ollama-demo")
  1. Consulte o LLM e veja os traços na interface do usuário do MLflow.
Python
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",  # The local Ollama REST endpoint
    api_key="dummy",  # Required to instantiate OpenAI client, it can be a random string
)

response = client.chat.completions.create(
    model="llama3.2:1b",
    messages=[
        {"role": "system", "content": "You are a science teacher."},
        {"role": "user", "content": "Why is the sky blue?"},
    ],
)

Desativar o rastreamento automático​

O rastreamento automático do Ollama pode ser desativado globalmente ligando para mlflow.openai.autolog(disable=True) ou mlflow.autolog(disable=True).

Próximas etapas​

Última atualização em