Pular para o conteúdo principal

Rastreamento do Mistral

Rastreamento Mistral via autolog

MLflow Tracing garante a observabilidade de suas interações com os modelos Mistral AI . Quando o rastreamento automático do Mistral é ativado chamando a função mlflow.mistral.autolog, o uso do SDK do Mistral em registrará automaticamente os traços gerados durante o desenvolvimento interativo.

Observe que somente as chamadas síncronas para o Text Generation API são compatíveis, e que os métodos assíncronos API e de transmissão não são rastreados.

Pré-requisitos​

Antes de executar os exemplos abaixo, certifique-se de que o senhor tenha:

  1. Databricks credenciais configuradas : Se estiver executando fora do site Databricks, defina sua variável de ambiente:

    Bash
    export DATABRICKS_HOST="https://your-workspace.cloud.databricks.com"
    export DATABRICKS_TOKEN="your-personal-access-token"
dica

Se estiver executando dentro de um notebook Databricks, eles serão automaticamente definidos para o senhor.

  1. Mistral API key : Defina seu API key como uma variável de ambiente:

    Bash
    export MISTRAL_API_KEY="your-mistral-api-key"

Exemplo de uso​

Python
import os

from mistralai import Mistral

import mlflow

# Turn on auto tracing for Mistral AI by calling mlflow.mistral.autolog()
mlflow.mistral.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/mistral-demo")

# Configure your API key.
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Use the chat complete method to create new chat.
chat_response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": "Who is the best French painter? Answer in one short sentence.",
        },
    ],
)
print(chat_response.choices[0].message)

Desativar o rastreamento automático​

O rastreamento automático para o Mistral pode ser desativado globalmente ligando para mlflow.mistral.autolog(disable=True) ou mlflow.autolog(disable=True).

Próximas etapas​

Última atualização em