Aller au contenu principal
Dernière mise à jour le

Démarrer l'interrogation des LLM sur Databricks

info

Bêta

Cette fonctionnalité est en Bêta. Les administrateurs de compte peuvent contrôler l'accès à cette fonctionnalité depuis la page Aperçus de la console de compte. Consultez Gérer les aperçus Databricks.

Cet article explique comment démarrer l'interrogation de LLM avec les services de modèle dans Unity AI Gateway.

Le moyen le plus simple de get start est d'interroger un service de modèle fourni par le système dans system.ai. Les services de modèles fournis par le système sont disponibles par default pour tous les utilisateurs du compte, vous pouvez donc start à envoyer des requêtes sans aucune configuration supplémentaire. Consultez la page Services de modèle dans Unity Catalog.

Vous pouvez également tester et discuter avec ces modèles à l'aide de l'AI Playground. Consultez Discuter avec des LLM et prototyper des applications d'IA générative à l'aide d'AI Playground.

Exigences​

important

En tant que bonne pratique de sécurité pour les scénarios de production, Databricks vous recommande d'utiliser des jetons OAuth machine à machine pour l'authentification pendant la production.

Pour les tests et le développement, Databricks recommande d'utiliser un jeton d'accès personnel appartenant aux Service Principals au lieu des utilisateurs de Workspace. Pour créer des jetons pour les Service Principals, consultez Gérer les jetons pour un Service Principal.

Démarrer avec les services de modèle​

L'exemple suivant est destiné à être exécuté dans un Notebook Databricks. L'exemple de code interroge un modèle hébergé par Databricks qui est servi par le service de modèle fourni par le système system.ai.claude-sonnet-4-5. Pour les autres modèles disponibles, consultez Services de modèle dans Unity Catalog.

Dans cet exemple, vous utilisez le client OpenAI pour interroger le modèle en renseignant le champ model avec le nom complet du service de modèle que vous souhaitez interroger. Utilisez votre jeton d'accès personnel pour renseigner le DATABRICKS_TOKEN et votre instance de Workspace Databricks pour connecter le client OpenAI à Databricks.

Python
from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1", # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)
remarque

Si vous rencontrez le message suivant ImportError: cannot import name 'OpenAI' from 'openai', mettez à niveau votre version openai à l'aide de !pip install -U openai. Après avoir installé le package, exécutez dbutils.library.restartPython().

Sortie attendue :

Bash

{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "system.ai.claude-sonnet-4-5",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

Étapes suivantes​

Sur cette page