Aller au contenu principal
Dernière mise à jour le

Démarrer l'interrogation des LLM sur Databricks

info

Bêta

Cette fonctionnalité est en Bêta. Les administrateurs de compte peuvent contrôler l'accès à cette fonctionnalité depuis la page Aperçus de la console de compte. Consultez Gérer les aperçus Databricks.

query des LLM sur Databricks avec des services de modèle dans Unity AI Gateway.

Le moyen le plus simple de start consiste à interroger un service de modèle fourni par le système dans system.ai. Les services de fournisseur de modèles fournis par le système sont disponibles default pour tous les utilisateurs du compte ; vous pouvez donc start l'envoi de requêtes sans configuration supplémentaire. Voir Gérer les APIs de modèle (services de modèle).

Vous pouvez également tester et discuter avec ces modèles à l'aide de l'AI Playground. Consultez Discutez avec des LLM et créez des prototypes d'applications d'IA à l'aide d'AI Playground.

Exigences​

Démarrer avec les services de modèle​

L’exemple suivant est destiné à être exécuté dans un notebook Databricks. L’exemple de code query le service de modèle fourni par le système system.ai.claude-sonnet-4-5, servi en mode natif par Databricks. Pour les autres modèles disponibles, consultez les services de modèles.

Dans cet exemple, vous utilisez le client OpenAI pour interroger le modèle en renseignant le champ model avec le nom complet du service de modèle que vous souhaitez interroger. Utilisez votre jeton d'accès personnel pour renseigner le DATABRICKS_TOKEN et votre instance de Workspace Databricks pour connecter le client OpenAI à Databricks.

Python
from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1", # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)
remarque

Si vous rencontrez le message suivant ImportError: cannot import name 'OpenAI' from 'openai', mettez à niveau votre version openai à l'aide de !pip install -U openai. Après avoir installé le package, exécutez dbutils.library.restartPython().

Sortie attendue :

Bash

{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "system.ai.claude-sonnet-4-5",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

Étapes suivantes​

Sur cette page