Rastreamento do Groq

O MLflow Tracing fornece o recurso de rastreamento automático ao usar o Groq. Quando o rastreamento automático do Groq é ativado por meio da chamada da função mlflow.groq.autolog, o uso do Groq SDK pelo registrará automaticamente os rastreamentos gerados durante o desenvolvimento interativo.

Observe que somente as chamadas síncronas são compatíveis e que os métodos assíncronos API e de transmissão não são rastreados.

Exemplo de uso

Python

import groq

import mlflow

# Turn on auto tracing for Groq by calling mlflow.groq.autolog()
mlflow.groq.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/groq-demo")

client = groq.Groq()

# Use the create method to create new message
message = client.chat.completions.create(
    model="llama-3.3-70b-versatile",
    messages=[
        {
            "role": "user",
            "content": "Explain the importance of low latency LLMs.",
        }
    ],
)

print(message.choices[0].message.content)

Desativar o rastreamento automático

O rastreamento automático do Groq pode ser desativado globalmente chamando mlflow.groq.autolog(disable=True) ou mlflow.autolog(disable=True).

Próximas etapas

• Entenda os conceitos de rastreamento - Saiba como o MLflow captura e organiza os dados de rastreamento
• Depure e observe seu aplicativo - Use a interface de usuário Trace para analisar o comportamento do aplicativo Groq
• Avalie a qualidade do seu aplicativo - Configure a avaliação de qualidade para seu aplicativo desenvolvido com GROQ