Pular para o conteúdo principal

Começar: MLflow Tracing para GenAI (IDE local)

Este início rápido ajuda você a integrar seu aplicativo GenAI com MLflow Tracing se você usar um ambiente de desenvolvimento local, como um IDE (VS Code, PyCharm, Cursor ou outros) ou um ambiente Notebook hospedado localmente (Jupyter ou outros). Se você usa um Databricks Notebook, use o início rápido do Databricks Notebook .

O que você vai conseguir​

Ao final deste tutorial, o senhor terá:

  • Um experimento MLflow para seu aplicativo GenAI
  • Seu ambiente de desenvolvimento local conectado ao MLflow
  • Um aplicativo GenAI simples instrumentado com o MLflow Tracing
  • Um rastro desse aplicativo em seu experimento MLflow

trace

Pré-requisitos​

  • Databricks Workspace : Acesso a um site Databricks workspace.

Etapa 1: Instalar o MLflow​

Ao trabalhar em seu IDE local, o senhor precisa instalar o MLflow com a conectividade Databricks.

Bash
pip install --upgrade "mlflow[databricks]>=3.1" openai

o passo 2: Criar um novo experimento MLflow​

Um experimento MLflow é o contêiner para seu aplicativo GenAI. Saiba mais sobre experimentos na seção de conceitos.

  1. Abra o site Databricks workspace
  2. Na barra lateral esquerda, em AI/ML , clique em Experimentos .
  3. Na parte superior da página Experimentos, clique em Aplicativos e agentes GenAI
  4. Obtenha o ID e o caminho do experimento clicando no ícone de informação Ícone de informação. no canto superior esquerdo. Você os usará mais tarde.

criar experimento

Etapa 3: Conecte seu ambiente ao MLflow​

Os trechos de código abaixo mostram como configurar a autenticação usando um token de acesso pessoal Databricks . O MLflow também funciona com outros métodos de autenticação suportados pelo Databricks.

  1. No seu experimento MLflow , clique no ícone do menu Kebab Ícone do menu de kebab. > registrar rastros localmente > clique em Gerar chave API .

  2. Copie e execute o código gerado em seu terminal.

    Bash
    export DATABRICKS_TOKEN=<databricks-personal-access-token>
    export DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
    export MLFLOW_TRACKING_URI=databricks
    export MLFLOW_REGISTRY_URI=databricks-uc
    export MLFLOW_EXPERIMENT_ID=<experiment-id>

Etapa 4: criar e instrumentar seu aplicativo​

Crie seu aplicativo GenAI com rastreamento habilitado.

  1. Crie um arquivo Python chamado app.py no diretório do seu projeto.

  2. Inicialize um cliente OpenAI para se conectar a LLMs hospedados pela Databricks ou LLMs hospedados pela OpenAI.

Use o MLflow para obter um cliente OpenAI que se conecta aos LLMs hospedados pela Databricks. Selecione um modelo dentre os modelos de base disponíveis.

Python
import mlflow
from databricks.sdk import WorkspaceClient

# Enable MLflow's autologging to instrument your application with Tracing
mlflow.openai.autolog()

# Set up MLflow tracking to Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/docs-demo")

# Create an OpenAI client that is connected to Databricks-hosted LLMs
w = WorkspaceClient()
client = w.serving_endpoints.get_open_ai_client()

# Select an LLM
model_name = "databricks-claude-sonnet-4"

  1. Defina e execute sua aplicação:

    Use o decorador@mlflow.trace, que facilita o rastreamento de qualquer função Python, combinado com a instrumentação automática do OpenAI para capturar os detalhes da chamada para o OpenAI SDK.

    Python
    # Use the trace decorator to capture the application's entry point
    @mlflow.trace
    def my_app(input: str):
        # This call is automatically instrumented by `mlflow.openai.autolog()`
        response = client.chat.completions.create(
            model=model_name,  # This example uses a Databricks hosted LLM - you can replace this with any AI Gateway or Model Serving endpoint. If you provide your own OpenAI credentials, replace with a valid OpenAI model e.g., gpt-4o, etc.
            messages=[
                {
                    "role": "system",
                    "content": "You are a helpful assistant.",
                },
                {
                    "role": "user",
                    "content": input,
                },
            ],
        )
        return response.choices[0].message.content

    result = my_app(input="What is MLflow?")
    print(result)

  2. execução do aplicativo

    Bash
    python app.py

Para obter detalhes sobre como adicionar rastreamento a aplicativos, consulte o guia de instrumentação de rastreamento e as mais de 20 integrações de biblioteca.

o passo 5: visualizar o rastreamento no MLflow​

  1. Navegue de volta para a interface do experimento do MLflow.
  2. Agora você verá o rastreamento gerado na tab Rastreamentos .
  3. Clique no rastreamento para view seus detalhes.

Detalhes do rastreamento

Compreendendo o traço​

O rastreamento que você acabou de criar mostra:

  • Raiz span : representa as entradas para a função my_app(...)

    • Período filho : representa a solicitação de conclusão do OpenAI

  • Atributos : Contém metadados como nome do modelo, contagem de tokens e informações de tempo

  • Entradas : as mensagens enviadas para o modelo

  • Saídas : A resposta recebida do modelo

Esse simples rastreamento já fornece percepções valiosas sobre o comportamento do seu aplicativo, como, por exemplo, o que o senhor está fazendo?

  • O que foi perguntado
  • Qual resposta foi gerada
  • Quanto tempo demorou a solicitação
  • Quantos tokens foram usados (afetando o custo)

Para aplicativos mais complexos, como sistemas RAG ou agentes de várias etapas, o MLflow Tracing oferece ainda mais valor ao revelar o funcionamento interno de cada componente e etapa.

guia e referências​

Para detalhes sobre conceitos e recursos neste guia, consulte:

Última atualização em