Pular para o conteúdo principal
Última atualização em

Comece agora: MLflow Tracing para GenAI em um IDE local.

Este guia de início rápido ajuda você a integrar seu aplicativo GenAI com MLflow Tracing se você usa um ambiente de desenvolvimento local, como uma IDE (VS Code, PyCharm, Cursor ou outras) ou um ambiente Notebook hospedado localmente, como o Jupyter. Se você usa um Notebook Databricks , consulte o guia de início rápido do NotebookDatabricks .

Este tutorial irá guiá-lo através dos seguintes passos:

  • Um experimento MLflow para seu aplicativo GenAI
  • Seu ambiente de desenvolvimento local conectado ao MLflow
  • Um aplicativo GenAI simples instrumentado com o MLflow Tracing
  • Um rastro desse aplicativo em seu experimento MLflow

trace

Pré-requisitos​

  • Acesso a um workspace Databricks .

Etapa 1: Instalar o MLflow​

Instale o MLflow com conectividade Databricks:

Bash
pip install --upgrade "mlflow[databricks]>=3.1" openai

o passo 2: Criar um novo experimento MLflow​

Um experimento MLflow é o contêiner para sua aplicação GenAI. Para mais informações, veja Experimentos.

  1. Abra seu workspace Databricks .
  2. Na barra lateral esquerda, em AI/ML , clique em Experimentos .
  3. Na parte superior da página Experimentos, clique em Aplicativos e agentes GenAI .
  4. Para obter o ID e o caminho do experimento, clique no ícone de informações.Ícone de informação. no canto superior esquerdo. Você usará esses valores em etapas posteriores.

criar experimento

Etapa 3: Conecte seu ambiente ao MLflow​

Os trechos de código a seguir mostram como configurar a autenticação usando um access token pessoal (PAT) Databricks . O MLflow também funciona com os outros métodos de autenticação suportados pelo Databricks.

  1. No seu experimento MLflow , clique no ícone do menu de três pontos (kebab).Ícone do menu de kebab. > Registrar rastreamentos localmente > Gerar chave API .

  2. Copie e execute o código gerado em seu terminal.

    Bash
    export DATABRICKS_TOKEN=<databricks-personal-access-token>
    export DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
    export MLFLOW_TRACKING_URI=databricks
    export MLFLOW_REGISTRY_URI=databricks-uc
    export MLFLOW_EXPERIMENT_ID=<experiment-id>

Etapa 4: criar e instrumentar seu aplicativo​

Crie seu aplicativo GenAI com rastreamento habilitado.

  1. Crie um arquivo Python chamado app.py no diretório do seu projeto.

  2. Inicialize um cliente OpenAI para se conectar a LLMs hospedados pela Databricks ou LLMs hospedados pela OpenAI.

Use databricks-openai para obter um cliente OpenAI que se conecta a LLMs hospedados no Databricks. Selecione um modelo dentre os modelos de fundação disponíveis.

Python
import mlflow
from databricks_openai import DatabricksOpenAI

# Enable MLflow's autologging to instrument your application with Tracing
mlflow.openai.autolog()

# Set up MLflow tracking to Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/docs-demo")

# Create an OpenAI client that is connected to Databricks-hosted LLMs
client = DatabricksOpenAI()

# Select an LLM
model_name = "databricks-claude-sonnet-4"

  1. Defina e execute sua aplicação:

    Use o decorador@mlflow.trace, que facilita o rastreamento de qualquer função Python, combinado com a instrumentação automática do OpenAI para capturar os detalhes da chamada para o OpenAI SDK.

    Python
    # Use the trace decorator to capture the application's entry point
    @mlflow.trace
    def my_app(input: str):
        # This call is automatically instrumented by `mlflow.openai.autolog()`
        response = client.chat.completions.create(
            # Uses a Databricks-hosted LLM by default. To use an AI Gateway, Model Serving endpoint, or your own OpenAI credentials, replace `model_name` with a valid model such as `gpt-4o`.
            model=model_name,
            messages=[
                {
                    "role": "system",
                    "content": "You are a helpful assistant.",
                },
                {
                    "role": "user",
                    "content": input,
                },
            ],
        )
        return response.choices[0].message.content

    result = my_app(input="What is MLflow?")
    print(result)

  2. execução do aplicativo:

    Bash
    python app.py

Para obter detalhes sobre como adicionar rastreamento a aplicativos, consulte Adicionar rastreamentos a aplicativos: rastreamento automático e manual e IntegraçõesMLflow Tracing (mais de 20 integrações de biblioteca).

o passo 5: visualizar o rastreamento no MLflow​

  1. Retornar à interface do usuário do experimento MLflow.
  2. O rastreamento gerado aparece na tab Rastreamentos .
  3. Clique no traço para view os detalhes.

Detalhes do rastreamento

Compreendendo o traço​

O novo rastreamento mostra:

  • Raiz span : representa as entradas para a função my_app(...)

    • Período filho : representa a solicitação de conclusão do OpenAI

  • Atributos : Contém metadados como nome do modelo, contagem de tokens e informações de tempo

  • Entradas : as mensagens enviadas para o modelo

  • Saídas : A resposta recebida do modelo

Mesmo esse rastro mínimo revela informações úteis sobre o comportamento do seu aplicativo, incluindo:

  • O que foi perguntado
  • Qual resposta foi gerada
  • Quanto tempo demorou a solicitação
  • Quantos tokens foram usados (afetando o custo)

Para aplicativos mais complexos, como sistemas RAG ou agentes de várias etapas, o MLflow Tracing oferece ainda mais valor ao revelar o funcionamento interno de cada componente e etapa.

guia e referências​

Para detalhes sobre conceitos e recursos neste guia, consulte:

Nesta página