Comece agora: MLflow Tracing para GenAI (Databricks Notebook)

Este guia de início rápido ajuda você a integrar seu aplicativo GenAI com MLflow Tracing se você usar um Notebook Databricks como ambiente de desenvolvimento. Se você utiliza uma IDE local, por favor, utilize o guia de início rápido da IDE .

Ao final deste tutorial, o senhor terá:

• Um notebook Databricks com um experimento MLflow vinculado para seu aplicativo GenAI.
• Um aplicativo GenAI simples instrumentado com o MLflow Tracing
• Um rastro desse aplicativo em seu experimento MLflow

Configuração do ambiente

1. Crie um novo Notebook em seu workspace Databricks . O Notebook terá um experimento MLflow default que servirá como contêiner para sua aplicação GenAI. Saiba mais sobre experimentos do MLflow na seção de conceitos do MLflow.

2. Instale o pacote necessário:

   • mlflow[databricks]Use a versão mais recente do MLflow para obter mais recursos e melhorias.
   • openaiEste tutorial usará o cliente da API OpenAI para acessar modelos hospedados no Databricks.

Python

%pip install -qq --upgrade "mlflow[databricks]>=3.1.0" openai
dbutils.library.restartPython()

Passo 1: Instrumente sua aplicação com rastreamento

Os trechos de código abaixo definem um aplicativo GenAI simples que completa frases padrão usando um LLM.

Primeiro, crie um cliente OpenAI para se conectar aos modelos básicos hospedados no Databricks:

Python

from databricks.sdk import WorkspaceClient

# Create an OpenAI client that is connected to Databricks-hosted LLMs
w = WorkspaceClient()
client = w.serving_endpoints.get_open_ai_client()

model_name = "databricks-claude-sonnet-4"

Alternativamente, você pode usar o SDK da OpenAI para se conectar a modelos hospedados pela OpenAI:

Python

import openai

# Ensure your OPENAI_API_KEY is set in your environment
# os.environ["OPENAI_API_KEY"] = "<YOUR_API_KEY>" # Uncomment and set if not globally configured

client = openai.OpenAI()

model_name = "gpt-4o-mini"

Segundo, defina e execute sua aplicação. Instrumentar o aplicativo com rastreamento simplesmente utiliza:

• mlflow.openai.autolog(): Instrumentação automática para capturar os detalhes da chamada ao SDK da OpenAI
• @mlflow.trace: Decorador que facilita o rastreamento de qualquer função Python

Python

import mlflow
import os

# Enable auto-tracing for OpenAI
mlflow.openai.autolog()

# Set up MLflow tracking to Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/openai-tracing-demo")

# Use the trace decorator to capture the application's entry point
@mlflow.trace
def my_app(input: str):
  # This call is automatically instrumented by `mlflow.openai.autolog()`
  response = client.chat.completions.create(
    model=model_name,
    temperature=0.1,
    max_tokens=200,
    messages=[
      {
        "role": "system",
        "content": "You are a helpful assistant.",
      },
      {
        "role": "user",
        "content": input,
      },
    ]
  )
  return response.choices[0].message.content

result = my_app(input="What is MLflow?")
print(result)

Para obter detalhes sobre como adicionar rastreamento a aplicativos, consulte o guia de instrumentação de rastreamento e as mais de 20 integrações de biblioteca.

o passo 2: visualizar o rastreamento no MLflow

O rastreamento aparecerá abaixo da célula do Notebook.

Opcionalmente, você pode acessar a interface do experimento do MLflow para ver o rastreamento:

1. Clique no ícone de experimentos na barra lateral direita.
2. Clique no ícone aberto ao lado da execução do experimento.
3. O rastreamento gerado aparece em Traces tab.
4. Clique no rastreamento para view seus detalhes.

Compreenda o traço

O rastreamento que você acabou de criar mostra:

• Raiz span : representa as entradas para a função my_app(...)

  • Período filho : representa a solicitação de conclusão do OpenAI

• Atributos : Contém metadados como nome do modelo, contagem de tokens e informações de tempo

• Entradas : as mensagens enviadas para o modelo

• Saídas : A resposta recebida do modelo

Esse simples rastreamento já fornece percepções valiosas sobre o comportamento do seu aplicativo, como, por exemplo, o que o senhor está fazendo?

• O que foi perguntado
• Qual resposta foi gerada
• Quanto tempo demorou a solicitação
• Quantos tokens foram usados (afetando o custo)

Para aplicativos mais complexos, como sistemas RAG ou agentes de várias etapas, o MLflow Tracing oferece ainda mais valor ao revelar o funcionamento interno de cada componente e etapa.

Próximas etapas

• GuiaMLflow Tracing - comece aqui para aprender mais sobre MLflow Tracing
• IntegraçõesMLflow Tracing - mais de 20 bibliotecas com integrações de rastreamento automático
• Conceitos de rastreamento - Entenda os fundamentos do MLflow Tracing

Exemplo de caderno

Comece agora: MLflow Tracing para GenAI (Databricks Notebook)

Open notebook in new tab