Aller au contenu principal
Dernière mise à jour le

Interroger un modèle de chat

Dans cet article, vous apprendrez à rédiger des requêtes pour les modèles de fondation optimisés pour le chat et les tâches à usage général, et servis par Unity AI Gateway.

prompt

Genie Code (mode Agent) peut le faire pour vous. Essayez cet exemple de prompt :

Query the databricks-claude-sonnet-4-5 chat model using the OpenAI client. Send a system prompt and a user question, and print the response.

Les exemples de cet article s'appliquent à l'interrogation de modèles de fondation qui sont mis à disposition à l'aide de l'une des méthodes suivantes :

Exigences​

Exemples de query​

remarque

Les exemples suivants sont basés sur la Passerelle d’IA Unity et les services de modèle. Si vous utilisez des Endpoint de service de modèle au lieu de services de modèle, remplacez le nom du service de modèle par un nom d'Endpoint. Voir les modèles de fondation hébergés par Databricks disponibles dans les APIs de modèles de fondation pour une liste des modèles de fondation disponibles et leurs noms de service de modèle et d'Endpoint.

Les exemples de cette section montrent comment interroger un service de modèle API de modèle de fondation par jeton à l'aide des différentes options client.

Pour un exemple d'inférence par batch, voir Enrichir des données à l'aide des AI Functions.

Pour utiliser le client OpenAI, spécifiez le nom du service de modèle comme entrée model.

Python
from databricks_openai import DatabricksOpenAI

client = DatabricksOpenAI()

response = client.chat.completions.create(
    model="system.ai.claude-sonnet-4-5",
    messages=[
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is a mixture of experts model?",
      }
    ],
    max_tokens=256
)

Pour interroger les modèles de fondation en dehors de votre Workspace, vous devez utiliser le client OpenAI directement. Vous avez également besoin de votre instance de Workspace Databricks pour connecter le client OpenAI à Databricks. L'exemple suivant suppose que vous avez un jeton d'API Databricks et openai installé sur votre compute.

Python

import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/ai-gateway/mlflow/v1"
)

response = client.chat.completions.create(
    model="system.ai.claude-sonnet-4-5",
    messages=[
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is a mixture of experts model?",
      }
    ],
    max_tokens=256
)

À titre d'exemple, voici le format de requête attendu pour un modèle de chat lors de l'utilisation de l'API REST. Pour les modèles externes, vous pouvez inclure des paramètres supplémentaires valides pour un fournisseur et une configuration d'endpoint donnés. Voir Paramètres de query supplémentaires.

Bash
{
  "messages": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_tokens": 100,
  "temperature": 0.1
}

Voici le format de réponse attendu pour une requête effectuée à l'aide de l'API REST :

JSON
{
  "model": "databricks-claude-sonnet-4-5",
  "choices": [
    {
      "message": {},
      "index": 0,
      "finish_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 74,
    "total_tokens": 81
  },
  "object": "chat.completion",
  "id": null,
  "created": 1698824353
}

Modèles pris en charge​

Voir les types de modèles de fondation pour les modèles de chat pris en charge.

Ressources supplémentaires​

Sur cette page