チャット モデルのクエリ

この記事では、チャット タスク用に最適化された基盤モデルのクエリ要求を作成し、モデルサービング エンドポイントに送信する方法について説明します。

この記事の例は、次のいずれかを使用して使用可能になる基盤モデルのクエリに適用されます。

• Databricksがホストする 基盤モデルAPI と呼ばれる 基盤モデル 。
• Databricks の外部でホストされている基盤モデル と呼ばれる外部モデル 。

必要条件

• 要件を参照してください。
• 選択したクエリ クライアント オプションに基づいて、適切なパッケージをクラスターにインストールします。

クエリの例

次に、外部モデルとさまざまな クエリ クライアント オプションを使用して利用可能になったチャット モデルのクエリの例を示します。

OpenAI client

OpenAI クライアントを使用するには、 model 入力としてモデルサービングエンドポイント名を指定します。 次の例では、 Databricks API トークン と openai がコンピュートにインストールされていることを前提としています。 また、OpenAI クライアントを Databricks に接続するには、 Databricks ワークスペース インスタンス も必要です。

Python

import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)

response = client.chat.completions.create(
    model="bedrock-chat-completions-endpoint",
    messages=[
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is a mixture of experts model?",
      }
    ],
    max_tokens=256
)

REST API

important

次の例では REST API 外部モデルを提供する提供エンドポイントのクエリに パラメーターを使用します。 これらのパラメーターは パブリック プレビュー 段階であり、定義は変更される可能性があります。POST /serving-endpoints/{name}/invocationsを参照してください。

Bash

curl \
-u token:$DATABRICKS_TOKEN \
-X POST \
-H "Content-Type: application/json" \
-d '{
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant."
    },
    {
      "role": "user",
      "content": " What is a mixture of experts model?"
    }
  ]
}' \
https://<workspace_host>.databricks.com/serving-endpoints/<your-external-model-endpoint>/invocations \

MLflow Deployments SDK

important

次の例では、MLflow Deployments SDK の predict() API を使用しています。

Python

import mlflow.deployments

# Only required when running this example outside of a Databricks Notebook
export DATABRICKS_HOST="https://<workspace_host>.databricks.com"
export DATABRICKS_TOKEN="dapi-your-databricks-token"

client = mlflow.deployments.get_deploy_client("databricks")

chat_response = client.predict(
    endpoint="bedrock-chat-completions-endpoint",
    inputs={
        "messages": [
            {
              "role": "user",
              "content": "Hello!"
            },
            {
              "role": "assistant",
              "content": "Hello! How can I assist you today?"
            },
            {
              "role": "user",
              "content": "What is a mixture of experts model??"
            }
        ],
        "temperature": 0.1,
        "max_tokens": 20
    }
)

Databricks Python SDK

このコードは、ワークスペース内のノートブックで実行する必要があります。Databricks ノートブックから Databricks SDK for Python を使用するを参照してください。

Python

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole

w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="bedrock-chat-completions-endpoint",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(
            role=ChatMessageRole.USER, content="What is a mixture of experts model?"
        ),
    ],
    max_tokens=128,
)
print(f"RESPONSE:\n{response.choices[0].message.content}")

例として、REST API を使用する場合のチャットモデルの想定されるリクエスト形式を次に示します。外部モデルの場合、特定のプロバイダーとエンドポイント構成に有効な追加のパラメーターを含めることができます。追加のクエリ・パラメーターを参照してください。

Bash

{
  "messages": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_tokens": 100,
  "temperature": 0.1
}

以下は、REST API を使用して行われたリクエストに対して想定されるレスポンス形式です。

JSON

{
  "model": "bedrock-chat-completions-endpoint",
  "choices": [
    {
      "message": {},
      "index": 0,
      "finish_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 74,
    "total_tokens": 81
  },
  "object": "chat.completion",
  "id": null,
  "created": 1698824353
}

サポートされているモデル

サポートされているチャットモデル については、基盤モデルタイプ を参照してください。

追加のリソース

• 埋め込みモデルをクエリします。
• 推論モデルのクエリ。
• ビジョン モデルのクエリ。