Pular para o conteúdo principal

Rastreando Gêmeos

Rastreamento OpenAI via registro automático

O MLflow Tracing fornece o recurso de rastreamento automático para o Google Gemini. Ao habilitar o rastreamento automático para o Gemini chamando a função mlflow.gemini.autolog, o MLflow capturará os rastreamentos aninhados e log os enviará para o experimento MLflow ativo após a invocação do Gemini Python SDK.

Python
import mlflow

mlflow.gemini.autolog()

MLflow O rastreamento captura automaticamente as seguintes informações sobre as chamadas do Gemini:

  • Solicitações e respostas de conclusão
  • Latências
  • Nome do modelo
  • Metadados adicionais, como temperature, max_tokens, se especificados.
  • Chamada de função se retornada na resposta
  • Qualquer exceção, se levantada
nota

Atualmente, a integração do MLflow Gemini só oferece suporte ao rastreamento de chamadas síncronas para interações de texto. As APIs assíncronas não são rastreadas e as entradas completas podem não ser registradas para entradas multimodais.

Exemplo básico​

Python
import mlflow
import google.genai as genai
import os

# Turn on auto tracing for Gemini
mlflow.gemini.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/gemini-demo")


# Configure the SDK with your API key.
client = genai.Client(api_key=os.environ["GEMINI_API_KEY"])

# Use the generate_content method to generate responses to your prompts.
response = client.models.generate_content(
    model="gemini-1.5-flash", contents="The opposite of hot is"
)

Interações de bate-papo em vários turnos​

O MLflow suporta o rastreamento de conversas com vários turnos com o Gemini:

import mlflow

mlflow.gemini.autolog()

chat = client.chats.create(model='gemini-1.5-flash')
response = chat.send_message("In one sentence, explain how a computer works to a young child.")
print(response.text)
response = chat.send_message("Okay, how about a more detailed explanation to a high schooler?")
print(response.text)

Incorporações​

O MLflow Tracing for Gemini SDK oferece suporte à API de incorporação:

Python
result = client.models.embed_content(model="text-embedding-004", contents="Hello world")

Desativar o rastreamento automático​

O rastreamento automático para Gemini pode ser desativado globalmente ligando para mlflow.gemini.autolog(disable=True) ou mlflow.autolog(disable=True).

Próximas etapas​

Última atualização em