Rastreamento do Mistral

MLflow Tracing garante a observabilidade de suas interações com os modelos Mistral AI . Quando o rastreamento automático do Mistral é ativado chamando a função mlflow.mistral.autolog, o uso do SDK do Mistral em registrará automaticamente os traços gerados durante o desenvolvimento interativo.

Observe que somente as chamadas síncronas para o Text Generation API são compatíveis, e que os métodos assíncronos API e de transmissão não são rastreados.

Pré-requisitos

Antes de executar os exemplos abaixo, certifique-se de que o senhor tenha:

1. Databricks credenciais configuradas : Se estiver executando fora do site Databricks, defina sua variável de ambiente:

   Bash

   export DATABRICKS_HOST="https://your-workspace.cloud.databricks.com"
   export DATABRICKS_TOKEN="your-personal-access-token"

dica

Se estiver executando dentro de um notebook Databricks, eles serão automaticamente definidos para o senhor.

2. Mistral API key : Verifique se o site API key está configurado. Para ambientes de produção, use segredosMosaic AI Gateway ou Databricks em vez de valores codificados para um gerenciamento seguro API key :

   Bash

   export MISTRAL_API_KEY="your-mistral-api-key"

Exemplo de uso

Python

import os

from mistralai import Mistral

import mlflow

# Turn on auto tracing for Mistral AI by calling mlflow.mistral.autolog()
mlflow.mistral.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/mistral-demo")

# Configure your API key.
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Use the chat complete method to create new chat.
chat_response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": "Who is the best French painter? Answer in one short sentence.",
        },
    ],
)
print(chat_response.choices[0].message)

atenção

Para ambientes de produção, use segredosMosaic AI Gateway ou Databricks em vez de valores codificados para um gerenciamento seguro API key .

Desativar o rastreamento automático

O rastreamento automático para o Mistral pode ser desativado globalmente ligando para mlflow.mistral.autolog(disable=True) ou mlflow.autolog(disable=True).

Próximas etapas

• Entenda os conceitos de rastreamento - Saiba como o MLflow captura e organiza os dados de rastreamento
• Depure e observe seu aplicativo - Use a UI de rastreamento para analisar o comportamento do aplicativo Mistral
• Avalie a qualidade do seu aplicativo - Configure a avaliação de qualidade para seu aplicativo com tecnologia Mistral