Pular para o conteúdo principal

MLflow Tracing Integrações

MLflow Tracing está integrado a uma grande variedade de estruturas e biblioteca Generative AI populares, oferecendo uma experiência de rastreamento automático de uma linha para todos eles. Isso permite que você obtenha observabilidade imediata em seus aplicativos GenAI com configuração mínima.

O rastreamento automático captura a lógica e as etapas intermediárias do seu aplicativo, como chamadas LLM, uso de ferramentas e interações de agentes, com base na sua implementação da biblioteca ou do SDK específico.

Para saber mais sobre como o rastreamento automático funciona, seus pré-requisitos e exemplos de combinação com o rastreamento manual, consulte o guia principal sobre rastreamento automático. Os exemplos rápidos abaixo destacam algumas das principais integrações. Guias detalhados para cada biblioteca suportada, abrangendo pré-requisitos, exemplos avançados e comportamentos específicos, estão disponíveis em suas respectivas páginas nesta seção.

Visão geral das principais integrações​

Aqui estão exemplos rápidos de algumas das integrações mais comumente usadas. Clique em tab para ver um exemplo básico de uso. Para obter pré-requisitos detalhados e cenários mais avançados para cada um, visite suas páginas de integração dedicadas (vinculadas a partir da guia ou da lista abaixo).

Python
import mlflow
import openai

# If running this code outside of a Databricks notebook (e.g., locally),
# uncomment and set the following environment variables to point to your Databricks workspace:
# import os
# os.environ["DATABRICKS_HOST"] = "https://your-workspace.cloud.databricks.com"
# os.environ["DATABRICKS_TOKEN"] = "your-personal-access-token"

# Enable auto-tracing for OpenAI
mlflow.openai.autolog()

# Set up MLflow tracking
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/openai-tracing-demo")

openai_client = openai.OpenAI()

messages = [
    {
        "role": "user",
        "content": "What is the capital of France?",
    }
]

response = openai_client.chat.completions.create(
    model="gpt-4o-mini",
    messages=messages,
    temperature=0.1,
    max_tokens=100,
)
# View trace in MLflow UI

Guia completo de integração do OpenAI

Gerenciamento seguro de chaves API​

Para ambientes de produção, Databricks recomenda que o senhor use AI Gateway ou Databricks secrets para gerenciar API key. AI O Gateway é o método preferido e oferece recursos adicionais de governança.

atenção

Nunca commit API chave diretamente em seu código ou Notebook. Sempre use os segredos do AI Gateway ou do Databricks para credenciais confidenciais.

Databricks recomenda Mosaic AI Gateway para controlar e monitorar o acesso aos modelos gen AI.

Crie um endpoint do Foundation Model configurado com o AI Gateway:

  1. Em seu site Databricks workspace, vá para Serving > Create new endpoint .
  2. Escolha um tipo de endpoint e um provedor.
  3. Configure o endpoint com seu API key.
  4. Durante a configuração do endpoint, ative o AI Gateway e configure a limitação de taxa, o fallback e os guardrails, conforme necessário.
  5. O senhor pode obter um código gerado automaticamente para começar a consultar o endpoint rapidamente. Acesse Serving > seu endpoint > Use > Query . Certifique-se de adicionar o código de rastreamento:
Python
import mlflow
from openai import OpenAI
import os

# How to get your Databricks token: https://docs.databricks.com/en/dev-tools/auth/pat.html
# DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')
# Alternatively in a Databricks notebook you can use this:
DATABRICKS_TOKEN = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiToken().get()

# Enable auto-tracing for OpenAI
mlflow.openai.autolog()

# Set up MLflow tracking (if running outside Databricks)
# If running in a Databricks notebook, these are not needed.
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/my-genai-app")

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="<YOUR_HOST_URL>/serving-endpoints"
)

chat_completion = client.chat.completions.create(
  messages=[
  {
    "role": "system",
    "content": "You are an AI assistant"
  },
  {
    "role": "user",
    "content": "What is MLflow?"
  }
  ],
  model="<YOUR_ENDPOINT_NAME>",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Habilitando várias integrações de rastreamento automático​

Como os aplicativos GenAI geralmente combinam várias bibliotecas, o site MLflow Tracing permite que o senhor ative o rastreamento automático para várias integrações simultaneamente, proporcionando uma experiência de rastreamento unificada.

Por exemplo, para ativar o LangChain e o rastreamento direto do OpenAI:

Python
import mlflow

# Enable MLflow Tracing for both LangChain and OpenAI
mlflow.langchain.autolog()
mlflow.openai.autolog()

# Your code using both LangChain and OpenAI directly...
# ... an example can be found on the Automatic Tracing page ...

O MLflow gerará um rastreamento único e coeso que combina as etapas das chamadas LangChain e LLM diretas do OpenAI, permitindo que o senhor inspecione o fluxo completo. Mais exemplos de combinação de integrações podem ser encontrados na página Rastreamento automático.

Desativando o rastreamento automático​

O rastreamento automático de qualquer biblioteca específica pode ser desativado chamando mlflow.<library>.autolog(disable=True). Para desativar todas as integrações de registro automático de uma só vez, use mlflow.autolog(disable=True).

Python
import mlflow

# Disable for a specific library
mlflow.openai.autolog(disable=True)

# Disable all autologging
mlflow.autolog(disable=True)
Última atualização em