プロビジョニングされたスループットの基盤モデルAPI

この記事では、プロビジョニングスループットAPIs基盤モデルを使用してモデルをデプロイする方法について説明します。Databricks では、本番運用ワークロードのプロビジョニングスループットを推奨し、パフォーマンスが保証された基盤モデルに最適化された推論を提供します。

プロビジョニングされたスループットとは

プロビジョニングされたスループットとは、エンドポイントに同時に送信できるトークン相当のリクエストの数を指します。プロビジョニングされたスループットサービスエンドポイントは、エンドポイントに送信できるトークン/秒の範囲に基づいて設定された専用エンドポイントです。

詳細については、次のリソースを参照してください。

プロビジョン済みスループットエンドポイントでサポートされているモデルアーキテクチャの一覧については、プロビジョン済みスループット基盤モデル APIs を参照してください。

要件

要件を参照してください。微調整された基盤モデルのデプロイについては、「微調整された基盤モデルのデプロイ」を参照してください。

[推奨]Unity Catalog から基盤モデルをデプロイする

プレビュー

この機能はパブリックプレビュー段階です。

Databricks では、Unity Catalog にプレインストールされている基盤モデルを使用することをお勧めします。これらのモデルは、スキーマai (system.ai) のカタログsystemの下にあります。

基盤モデルをデプロイするには:

カタログエクスプローラで system.ai に移動します。
デプロイするモデルの名前をクリックします。
モデルページで、[ このモデルを提供] ボタンをクリックします。
「 Create serving endpoint 」ページが表示されます。「 UI を使用してプロビジョニングされたスループットエンドポイントを作成する」を参照してください。

Databricks Marketplace からの基盤モデルのデプロイ

または、 Databricks Marketplace から Unity Catalog に基盤モデルをインストールすることもできます。

モデルファミリーを検索し、モデルページから「 アクセスを取得 」を選択し、ログイン資格情報を入力して、モデルを Unity Catalog にインストールできます。

モデルを Unity Catalogにインストールしたら、Serving UI を使用してモデルサービングエンドポイントを作成できます。

DBRX モデルのデプロイ

Databricks では、ワークロードに対して DBRX Instruct モデルを提供することをお勧めします。プロビジョニングされたスループットを使用して DBRX Instruct モデルを提供するには、「 [推奨] Unity Catalog から基盤モデルをデプロイする」のガイダンスに従ってください。

これらの DBRX モデルを提供する場合、プロビジョニングされたスループットは最大 16k のコンテキスト長をサポートします。

DBRX モデルは、次のデフォルトのシステム・プロンプトを使用して、モデル応答の関連性と精度を確保します。

You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.

微調整された基盤モデルをデプロイする

system.ai スキーマのモデルを使用できない場合、または Databricks Marketplace からモデルをインストールできない場合は、Unity Catalog にログを記録することで、微調整された基盤モデルをデプロイできます。このセクションと次のセクションでは、 MLflow モデルを Unity Catalog にログに記録し、UI または REST APIを使用してプロビジョニングスループットエンドポイントを作成するようにコードを設定する方法について説明します。

サポートされている Meta Llama 3.1、3.2、3.3 の微調整モデルとそのリージョンの可用性については、「プロビジョニングされたスループットの制限」を参照してください。

要件

微調整された基盤モデルのデプロイは、MLflow 2.11 以降でのみサポートされています。 Databricks Runtime 15.0 ML 以降では、互換性のある MLflow バージョンがプレインストールされています。
Databricks では、大規模なモデルのアップロードとダウンロードを高速化するために、Unity Catalog のモデルを使用することをお勧めします。

カタログ、スキーマ、モデル名の定義

微調整された基盤モデルをデプロイするには、ターゲットの Unity Catalog カタログ、スキーマ、および任意のモデル名を定義します。

mlflow.set_registry_uri('databricks-uc')
CATALOG = "catalog"
SCHEMA = "schema"
MODEL_NAME = "model_name"
registered_model_name = f"{CATALOG}.{SCHEMA}.{MODEL_NAME}"

モデルのログを記録する

モデルエンドポイントのプロビジョニングされたスループットを有効にするには、MLflow transformers フレーバーを使用してモデルをログに記録し、次のオプションから適切なモデルの種類インターフェイスを使用して task 引数を指定する必要があります。

"llm/v1/completions"
"llm/v1/chat"
"llm/v1/embeddings"

これらの引数は、モデルサービングエンドポイントに使用される API シグネチャを指定します。これらのタスクと対応する入出力スキーマの詳細については、MLflow のドキュメントを参照してください。

MLflow を使用してログに記録されたテキスト入力候補言語モデルをログに記録する方法の例を次に示します。

model = AutoModelForCausalLM.from_pretrained("mosaicml/mixtral-8x7b-instruct", torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained("mosaicml/mixtral-8x7b-instruct")

with mlflow.start_run():
    components = {
      "model": model,
      "tokenizer": tokenizer,
    }
    mlflow.transformers.log_model(
        transformers_model=components,
        artifact_path="model",
        # Specify the llm/v1/xxx task that is compatible with the model being logged
        task="llm/v1/completions",
        # Specify an input example that conforms to the input schema for the task.
        input_example={"prompt": np.array(["Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\nWhat is Apache Spark?\n\n### Response:\n"])},
        # By passing the model name, MLflow automatically registers the Transformers model to Unity Catalog with the given catalog/schema/model_name.
        registered_model_name=registered_model_name
        # Optionally, you can set save_pretrained to False to avoid unnecessary copy of model weight and gain more efficiency.
        save_pretrained=False
    )

注：

2.12 より前の MLflow を使用している場合は、代わりに同じ mlflow.transformer.log_model() 関数の metadata パラメーター内でタスクを指定する必要があります。

metadata = {"task": "llm/v1/completions"}
metadata = {"task": "llm/v1/chat"}
metadata = {"task": "llm/v1/embeddings"}

プロビジョニングされたスループットは、基本 GTE 組み込みモデルと大規模な GTE 埋め込みモデルの両方もサポートします。以下は、プロビジョニングされたスループットで提供できるように、モデル Alibaba-NLP/gte-large-en-v1.5 をログに記録する方法の例です。

model = AutoModel.from_pretrained("Alibaba-NLP/gte-large-en-v1.5")
tokenizer = AutoTokenizer.from_pretrained("Alibaba-NLP/gte-large-en-v1.5")
with mlflow.start_run():
    components = {
      "model": model,
      "tokenizer": tokenizer,
    }
    mlflow.transformers.log_model(
        transformers_model=components,
        artifact_path="model",
        task="llm/v1/embeddings",
        registered_model_name=registered_model_name,
        # model_type is required for logging a fine-tuned BGE models.
        metadata={
            "model_type": "gte-large"
        }
    )

モデルが Unity Catalogにログインしたら、「 UI を使用してプロビジョン済みスループットエンドポイントを作成する」に進み、プロビジョン済みスループットを使用してモデルサービングエンドポイントを作成します。

UI を使用してプロビジョニングされたスループットエンドポイントを作成する

記録済みモデルが Unity Catalogになったら、次の手順でプロビジョニングスループットサービングエンドポイントを作成します。

ワークスペースの Serving UI に移動します。
[ サービングエンドポイントの作成] を選択します。
[エンティティ] フィールドで、Unity Catalog からモデルを選択します。対象モデルの場合、提供されるエンティティの UI には [プロビジョニングされたスループット ] 画面が表示されます。
[ Up to ] ドロップダウンでは、エンドポイントの 1 秒あたりの最大トークンスループットを構成できます。
1. プロビジョニングされたスループットエンドポイントは自動的にスケーリングされるため、[ 変更 ] を選択して、エンドポイントがスケールダウンできる 1 秒あたりの最小トークン数を表示できます。

REST API を使用してプロビジョニングされたスループットエンドポイントを作成する

REST API を使用してプロビジョニングされたスループットモードでモデルをデプロイするには、リクエストで min_provisioned_throughput フィールドと max_provisioned_throughput フィールドを指定する必要があります。 Python を使用する場合は、 MLflow デプロイ SDK を使用してエンドポイントを作成することもできます。

モデルに適したプロビジョニング済みスループットの範囲を特定するには、「プロビジョニング済みスループットを増分で取得する」を参照してください。

import requests
import json

# Set the name of the MLflow endpoint
endpoint_name = "prov-throughput-endpoint"

# Name of the registered MLflow model
model_name = "ml.llm-catalog.foundation-model"

# Get the latest version of the MLflow model
model_version = 3

# Get the API endpoint and token for the current notebook context
API_ROOT = "<YOUR-API-URL>"
API_TOKEN = "<YOUR-API-TOKEN>"

headers = {"Context-Type": "text/json", "Authorization": f"Bearer {API_TOKEN}"}

optimizable_info = requests.get(
  url=f"{API_ROOT}/api/2.0/serving-endpoints/get-model-optimization-info/{model_name}/{model_version}",
  headers=headers)
  .json()

if 'optimizable' not in optimizable_info or not optimizable_info['optimizable']:
  raise ValueError("Model is not eligible for provisioned throughput")

chunk_size = optimizable_info['throughput_chunk_size']

# Minimum desired provisioned throughput
min_provisioned_throughput = 2 * chunk_size

# Maximum desired provisioned throughput
max_provisioned_throughput = 3 * chunk_size

# Send the POST request to create the serving endpoint
data = {
  "name": endpoint_name,
  "config": {
    "served_entities": [
      {
        "entity_name": model_name,
        "entity_version": model_version,
        "min_provisioned_throughput": min_provisioned_throughput,
        "max_provisioned_throughput": max_provisioned_throughput,
      }
    ]
  },
}

response = requests.post(
  url=f"{API_ROOT}/api/2.0/serving-endpoints", json=data, headers=headers
)

print(json.dumps(response.json(), indent=4))

チャット完了タスクのログ確率

チャット完了タスクの場合、 logprobs パラメーターを使用して、大規模言語モデル生成プロセスの一部としてトークンがサンプリングされるログ確率を提供できます。 logprobs は、分類、モデルの不確実性の評価、評価メトリクスの実行など、さまざまなシナリオに使用できます。パラメーターの詳細については、「チャットタスク」を参照してください。

プロビジョニングされたスループットを段階的に取得

プロビジョニングされたスループットは、1 秒あたりのトークンの増分で使用でき、特定の増分はモデルによって異なります。ニーズに適した範囲を特定するために、Databricks では、プラットフォーム内でモデル最適化情報 API を使用することをお勧めします。

GET api/2.0/serving-endpoints/get-model-optimization-info/{registered_model_name}/{version}

API からの応答の例を次に示します。

{
  "optimizable": true,
  "model_type": "llama",
  "throughput_chunk_size": 980
}

{
  "optimizable": true,
  "model_type": "gte",
  "throughput_chunk_size": 980
}

ノートブックの例

次のノートブックは、プロビジョニングスループット基盤モデル APIを作成する方法の例を示しています。

制限事項

GPU 容量の問題により、モデルのデプロイが失敗する場合があり、その結果、エンドポイントの作成または更新中にタイムアウトが発生します。 Databricksアカウントチームに連絡して解決してください。
基盤モデル APIs のオートスケーリングは、CPUモデルサービングよりも遅くなります。 Databricks では、要求のタイムアウトを回避するために、オーバープロビジョニングをお勧めします。

GTE v1.5 (英語) および BGE v1.5 (英語) モデルのアーキテクチャのみがサポートされています。
GTE v1.5 (英語) では、正規化された埋め込みは生成されません。