Aller au contenu principal
Dernière mise à jour le

Traçage de Gemini

Traçage OpenAI à l’aide du log automatique

MLflow Tracing offre une capacité de suivi automatique pour Google Gemini. En activant le traçage automatique pour Gemini en appelant la fonction mlflow.gemini.autolog, MLflow capturera les traces imbriquées et les enregistrera dans l'Experimentation MLflow active lors de l'invocation du SDK Python de Gemini.

Python
import mlflow

mlflow.gemini.autolog()

La trace MLflow capture automatiquement les informations suivantes sur les appels Gemini :

  • Prompts et réponses de complétion
  • Latences
  • Nom du modèle
  • Métadonnées supplémentaires telles que temperature, max_tokens, si spécifié.
  • Appel de fonction si renvoyé dans la réponse
  • Toute exception si levée
remarque

Sur les clusters de compute serverless, l'autologging n'est pas activé automatiquement. Vous devez appeler explicitement mlflow.gemini.autolog() pour activer le traçage automatique de cette intégration.

remarque

Actuellement, l’intégration MLflow Gemini ne prend en charge le traçage que des appels synchrones pour les interactions textuelles. Les APIs asynchrones ne sont pas tracées et les entrées complètes peuvent ne pas être enregistrées pour les entrées multimodales.

Exemple de base​

Python
import mlflow
import google.genai as genai
import os

# Turn on auto tracing for Gemini
mlflow.gemini.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/gemini-demo")


# Configure the SDK with your API key.
client = genai.Client(api_key=os.environ["GEMINI_API_KEY"])

# Use the generate_content method to generate responses to your prompts.
response = client.models.generate_content(
    model="gemini-1.5-flash", contents="The opposite of hot is"
)

Interactions de discussion multi-tours​

MLflow prend en charge le traçage des conversations à plusieurs tours avec Gemini :

import mlflow

mlflow.gemini.autolog()

chat = client.chats.create(model='gemini-1.5-flash')
response = chat.send_message("In one sentence, explain how a computer works to a young child.")
print(response.text)
response = chat.send_message("Okay, how about a more detailed explanation to a high schooler?")
print(response.text)

Intégrations​

MLflow Tracing pour Gemini SDK prend en charge l'API d'embeddings :

Python
result = client.models.embed_content(model="text-embedding-004", contents="Hello world")

Désactiver le suivi automatique​

Le traçage automatique pour Gemini peut être désactivé globalement en appelant mlflow.gemini.autolog(disable=True) ou mlflow.autolog(disable=True).

Ressources supplémentaires​

Sur cette page