Pular para o conteúdo principal
Última atualização em

Rastreamento do Groq

Rastreamento Groq usando autolog

O MLflow Tracing oferece recursos de rastreamento automático ao utilizar o Groq. Quando o rastreamento automático do Groq é ativado chamando a função mlflow.groq.autolog , o uso do Groq SDK registrará automaticamente os rastreamentos gerados durante o desenvolvimento interativo.

nota

Em serverless compute clusters, o autologging não é ativado automaticamente. Você deve chamar explicitamente mlflow.groq.autolog() para ativar o rastreamento automático para essa integração.

Observe que somente as chamadas síncronas são compatíveis e que os métodos assíncronos API e de transmissão não são rastreados.

nota

O exemplo abaixo requer o MLflow 3.14 ou posterior porque armazena rastreamentos no Unity Catalog.

Exemplo de uso​

Python
import groq

import mlflow
from mlflow.entities.trace_location import UnityCatalog

# Turn on auto tracing for Groq by calling mlflow.groq.autolog()
mlflow.groq.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment(
    experiment_name="/Shared/groq-demo",
    trace_location=UnityCatalog(
        catalog_name="<UC_CATALOG_NAME>",
        schema_name="<UC_SCHEMA_NAME>",
        table_prefix="<UC_TABLE_PREFIX>",
    ),
)

client = groq.Groq()

# Use the create method to create new message
message = client.chat.completions.create(
    model="llama-3.3-70b-versatile",
    messages=[
        {
            "role": "user",
            "content": "Explain the importance of low latency LLMs.",
        }
    ],
)

print(message.choices[0].message.content)

Desativar o rastreamento automático​

O rastreamento automático do Groq pode ser desativado globalmente chamando mlflow.groq.autolog(disable=True) ou mlflow.autolog(disable=True).

Recursos adicionais​

Nesta página