Amazon
Web Services
Microsoft Azure
Google Cloud PlatformMosaic AI Model Servingの外部モデル
重要
この記事のコード例では、 パブリック プレビューの MLflow デプロイ CRUD API の使用方法を示します。
この記事では、サポートされているモデル プロバイダーや制限事項など、Mosaic AI Model Serving の外部モデルについて説明します。
外部モデルとは
重要
外部モデルを提供するモデルサービングエンドポイントで Mosaic AI Gateway を設定できるようになりました。 AI Gateway は、ガバナンス、モニタリング、および本番運用の準備をこれらのモデルサービングエンドポイントにもたらします。 「Mosaic AI ゲートウェイ」を参照してください。
外部モデルは、Databricks の外部でホストされるサードパーティ モデルです。 モデルサーバーによってサポートされている外部モデルを使用すると、組織内の OpenAI や などのさまざまな大規模言語モデル ( )LLMAnthropic プロバイダーの使用と管理を効率化できます。また、Mosaic AI Model Serving をプロバイダーとして使用してカスタム モデルを提供することもできます。これにより、これらのエンドポイントにレート制限が提供されます。 このサポートの一環として、モデルサーバーでは、特定のLLM関連の要求を処理するための統合エンドポイントを提供することで、これらのサービスとのやり取りを簡素化する高レベルのインターフェイスが提供されます。
さらに、Databricks の外部モデルのサポートにより、資格情報の一元管理が提供されます。 APIキーを1つの安全な場所に保存することで、組織はシステム全体で機密性の高いAPIキーの露出を最小限に抑え、セキュリティ体制を強化できます。 また、これらのキーがコード内で公開されるのを防ぐのにも役立ち、エンド ユーザーにキーの安全な管理を要求します。
外部モデル エンドポイントの作成に関する詳細なガイダンスと、MLflow Deployments SDK を使用してそれらのエンドポイントによって提供されるサポートされているモデルのクエリについては、「 チュートリアル: OpenAI モデルに対して外部モデル エンドポイントを作成する 」を参照してください。 Serving UI と REST API の使用方法については、次のガイドを参照してください。
要件
モデルプロバイダーの API キーまたは認証フィールド。
外部モデルをサポートするリージョンのDatabricksワークスペース。
モデルプロバイダー
モデルサービングの外部モデルは、さまざまなモデルプロバイダーをサポートするように設計されています。 プロバイダーは、OpenAI、Anthropic などの機械学習モデルのソースを表します。 各プロバイダーには、外部モデル エンドポイント構成の external_model フィールド内にカプセル化された特定の特性と構成があります。
次のプロバイダーがサポートされています。
openai: OpenAI によって提供されるモデルと、Azure OpenAI と Azure OpenAI と AAD の Azure 統合用。
anthropic: Anthropicが提供するモデル用。
cohere: Cohere が提供するモデルの場合。
Amazon -bedrock : Amazon Bedrockによって提供されるモデルの場合。
google-Cloud-vertex- AI : Google Cloud Vertex AIによって提供されるモデルの場合。
databricks モデルサービング: 互換性のあるスキーマを持つMosaic AI Model Servingエンドポイント用。 「 エンドポイントの構成」を参照してください。
ここに記載されていないプロバイダーのサポートをリクエストするには、Databricks アカウント チームにお問い合わせください。
サポートされるモデル
選択したモデルは、API 呼び出しから得られる応答の結果に直接影響します。 したがって、ユースケースの要件に合ったモデルを選択してください。 たとえば、会話形式の応答を生成するには、チャット モデルを選択できます。 逆に、テキストの埋め込みを生成する場合は、埋め込みモデルを選択できます。
次の表は、サポートされているモデルと対応する エンドポイントの種類の非網羅的なリストを示しています。 以下に示すモデルの関連付けは、特定のプロバイダーで使用可能になったときに、新しくリリースされたモデルの種類のエンドポイントを構成するときに役立つガイドとして使用できます。 お客様は、該当するモデルライセンスへの準拠を確保する責任があります。
注：
LLMの急速な発展に伴い、このリストが常に最新であるという保証はありません。
モデル プロバイダー |
llm/v1/completions |
llm/v1/chat |
llm/v1/embeddings |
|---|---|---|---|
OpenAI** (英語) |
|
|
|
Azure OpenAI** |
|
|
|
Anthropic |
|
|
|
Cohere** |
|
|
|
Mosaic AI モデルサービング |
Databricks サービングエンドポイント |
Databricks サービングエンドポイント |
Databricks サービングエンドポイント |
Amazon Bedrock |
Anthropic :
Cohere ：
AI21 Labs :
|
Anthropic :
Cohere ：
|
Amazon :
Cohere ：
|
AI21 Labs† |
|
||
Google Cloud Vertex AI |
text-bison |
|
textembedding-gecko |
** モデル プロバイダーは、ファインチューニングされた補完モデルとチャット モデルをサポートしています。 ファインチューニングされたモデルをクエリするには、external model構成の name フィールドにファインチューニングされたモデルの名前を入力します。
† モデル プロバイダーは、カスタム補完モデルをサポートしています。
Mosaic AI Model Servingエンドポイントで提供されるモデルを使用する
プロバイダーとしてのMosaic AI Model Servingエンドポイントは、 llm/v1/completions、llm/v1/chat、および llm/v1/embeddings エンドポイント タイプでサポートされています。 これらのエンドポイントは、必須としてマークされた標準クエリ 引数 を受け入れる必要がありますが、その他の 引数 はMosaic AI Model Servingエンドポイントがサポートしているかどうかに応じて無視される可能性があります。
標準クエリー パラメーターの API リファレンスの 「POST /serving-endpoints/{name}/invocations 」を参照してください。
これらのエンドポイントは、次の OpenAI 形式で応答を生成する必要があります。
完了タスクの場合:
{
"id": "123", # Not Required
"model": "test_databricks_model",
"choices": [
{
"text": "Hello World!",
"index": 0,
"logprobs": null, # Not Required
"finish_reason": "length" # Not Required
}
],
"usage": {
"prompt_tokens": 8,
"total_tokens": 8
}
}
チャットタスクの場合:
{
"id": "123", # Not Required
"model": "test_chat_model",
"choices": [{
"index": 0,
"message": {
"role": "assistant",
"content": "\n\nHello there, how may I assist you today?",
},
"finish_reason": "stop"
},
{
"index": 1,
"message": {
"role": "human",
"content": "\n\nWhat is the weather in San Francisco?",
},
"finish_reason": "stop"
}],
"usage": {
"prompt_tokens": 8,
"total_tokens": 8
}
}
エンべディングタスクの場合:
{
"data": [
{
"embedding": [
0.0023064255,
-0.009327292,
.... # (1536 floats total for ada-002)
-0.0028842222,
],
"index": 0
},
{
"embedding": [
0.0023064255,
-0.009327292,
.... #(1536 floats total for ada-002)
-0.0028842222,
],
"index": 0
}
],
"model": "test_embedding_model",
"usage": {
"prompt_tokens": 8,
"total_tokens": 8
}
}
エンドポイントの構成
外部モデルを提供し、クエリを実行するには、サービングエンドポイントを設定する必要があります。 外部モデルサーバーエンドポイントの作成を参照してください
外部モデルサービング エンドポイントの場合、エンドポイント設定の served_entities セクションに external_model フィールドとそのパラメーターを含める必要があります。サービス エンドポイントで 複数の外部モデルを設定する 場合は、各外部モデルのトラフィック ルーティングの割合を定義する traffic_config を指定する必要があります。
external_model フィールドは、このエンドポイントが要求を転送するモデルを定義します。モデルを指定するときは、要求しているモデルをプロバイダーがサポートしていることが重要です。 たとえば、プロバイダーとしての openai は text-embedding-ada-002のようなモデルをサポートしていますが、他のプロバイダーはサポートしていない場合があります。 モデルがプロバイダーでサポートされていない場合、Databricks は、そのモデルに要求をルーティングしようとすると、HTTP 4xx エラーを返します。
次の表は、 external_model フィールドのパラメーターをまとめたものです。 POST /api/2.0/serving-endpoints をエンドポイント構成パラメーターのために参照することができます。
パラメーター |
説明 |
|---|---|
|
使用するモデルの名前。 たとえば、OpenAI の |
|
このモデルのプロバイダーの名前を指定します。 この文字列値は、サポートされている外部モデル プロバイダーに対応している必要があります。 たとえば、OpenAI の |
|
このタスクは、必要な言語モデルの対話の種類に対応しています。 サポートされているタスクは、"llm/v1/completions"、"llm/v1/chat"、"llm/v1/embeddings" です。 |
|
モデルに必要な追加の構成の詳細が含まれます。 これには、API ベース URL と API キーの指定が含まれます。 「 エンドポイントのプロバイダーを構成する」を参照してください。 |
以下は、 create_endpoint() API を使用して外部モデルエンドポイントを作成する例です。 この例では、補完エンドポイントに送信された要求は、anthropicによって提供されるclaude-2モデルに転送されます。
import mlflow.deployments
client = mlflow.deployments.get_deploy_client("databricks")
client.create_endpoint(
name="anthropic-completions-endpoint",
config={
"served_entities": [
{
"name": "test",
"external_model": {
"name": "claude-2",
"provider": "anthropic",
"task": "llm/v1/completions",
"anthropic_config": {
"anthropic_api_key": "{{secrets/my_anthropic_secret_scope/anthropic_api_key}}"
}
}
}
]
}
)
エンドポイントのプロバイダーを構成する
エンドポイントを作成するときは、指定したモデル プロバイダーに必要な構成を指定する必要があります。 次のセクションでは、各モデル プロバイダーで使用可能なエンドポイント構成パラメーターをまとめます。
注：
Databricks は、各モデル プロバイダーに提供された資格情報を暗号化し、安全に保存します。 これらの資格情報は、関連付けられているエンドポイントが削除されると自動的に削除されます。
OpenAI
構成パラメーター |
説明 |
*必須 |
デフォルト |
|---|---|---|---|
|
DatabricksOpenAIAPI サービスを使用する OpenAI キーの シークレットキー リファレンス。API キーを直接貼り付ける場合は、 |
次のいずれかのフィールドを使用して API キーを指定する必要があります: |
|
|
プレーンテキスト文字列として提供される OpenAI サービスを使用する OpenAI API キー。 Databricks Secrets を使用してキーを参照する場合は、 |
次のいずれかのフィールドを使用して API キーを指定する必要があります: |
|
|
使用する OpenAI API のタイプを指定するオプションのフィールド。 |
いいえ |
|
|
OpenAI API のベース URL。 |
いいえ |
|
|
OpenAI API のバージョンを指定するオプションのフィールド。 |
いいえ |
|
|
OpenAI で組織を指定するオプションのフィールド。 |
いいえ |
Cohere
構成パラメーター |
説明 |
*必須 |
デフォルト |
|---|---|---|---|
|
キーのDatabricks シークレットキーCohereAPI リファレンス。API キーを直接貼り付ける場合は、 |
次のいずれかのフィールドを使用して API キーを指定する必要があります: |
|
|
プレーンテキスト文字列として提供される Cohere API キー。 Databricks Secrets を使用してキーを参照する場合は、 |
次のいずれかのフィールドを使用して API キーを指定する必要があります: |
|
|
Cohere サービスの基本 URL。 |
いいえ |
Anthropic
構成パラメーター |
説明 |
*必須 |
デフォルト |
|---|---|---|---|
|
キーのDatabricks シークレットキーAnthropicAPI リファレンス。API キーを直接貼り付ける場合は、 |
次のいずれかのフィールドを使用して API キーを指定する必要があります: |
|
|
プレーンテキスト文字列として提供される Anthropic API キー。 Databricks Secrets を使用してキーを参照する場合は、 |
次のいずれかのフィールドを使用して API キーを指定する必要があります: |
Azure OpenAI
Azure OpenAI には、直接の OpenAI サービスとは異なる機能があります。 概要については、 比較のドキュメントを参照してください。
構成パラメーター |
説明 |
*必須 |
デフォルト |
|---|---|---|---|
|
サービスを使用する OpenAI キーの シークレットDatabricksAPIAzure キー リファレンス。API キーを直接貼り付ける場合は、 |
次のいずれかのフィールドを使用して API キーを指定する必要があります: |
|
|
プレーンテキスト文字列として提供される Azure サービスを使用する OpenAI API キー。 Databricks Secrets を使用してキーを参照する場合は、 |
次のいずれかのフィールドを使用して API キーを指定する必要があります: |
|
|
アクセストークンの検証には |
はい |
|
|
Azure によって提供される Azure OpenAI API サービスのベース URL。 |
はい |
|
|
使用する Azure OpenAI サービスのバージョン (日付で指定)。 |
はい |
|
|
Azure OpenAI サービスのデプロイ リソースの名前。 |
はい |
|
|
OpenAI で組織を指定するオプションのフィールド。 |
いいえ |
Microsoft Entra ID で Azure OpenAI を使用している場合は、エンドポイント構成で次のパラメーターを使用します。
構成パラメーター |
説明 |
*必須 |
デフォルト |
|---|---|---|---|
|
Microsoft Entra ID 認証のテナント ID。 |
はい |
|
|
Microsoft Entra ID 認証用のクライアント ID。 |
はい |
|
|
Entra ID 認証に使用されるクライアント Databricksシークレットの シークレット キー リファレンス。Microsoftクライアントシークレットを直接貼り付ける場合は、 |
次のいずれかのフィールドを使用して API キーを指定する必要があります: |
|
|
プレーンテキスト文字列として提供される、Microsoft Entra ID 認証に使用されるクライアント シークレット。 Databricks Secrets を使用してキーを参照する場合は、 |
次のいずれかのフィールドを使用して API キーを指定する必要があります: |
|
|
Microsoft Entra ID を使用した認証には |
はい |
|
|
Azure によって提供される Azure OpenAI API サービスのベース URL。 |
はい |
|
|
使用する Azure OpenAI サービスのバージョン (日付で指定)。 |
はい |
|
|
Azure OpenAI サービスのデプロイ リソースの名前。 |
はい |
|
|
OpenAI で組織を指定するオプションのフィールド。 |
いいえ |
次の例は、Azure OpenAI を使用してエンドポイントを作成する方法を示しています。
client.create_endpoint(
name="openai-chat-endpoint",
config={
"served_entities": [{
"external_model": {
"name": "gpt-3.5-turbo",
"provider": "openai",
"task": "llm/v1/chat",
"openai_config": {
"openai_api_type": "azure",
"openai_api_key": "{{secrets/my_openai_secret_scope/openai_api_key}}",
"openai_api_base": "https://my-azure-openai-endpoint.openai.azure.com",
"openai_deployment_name": "my-gpt-35-turbo-deployment",
"openai_api_version": "2023-05-15"
}
}
}]
}
)
Google Cloud Vertex AI
構成パラメーター |
説明 |
*必須 |
デフォルト |
|---|---|---|---|
|
DatabricksGoogle クラウドVertex AI サービスにアクセスできるサービス アカウントの秘密キーの シークレットキー リファレンス。サービス アカウント キーを管理するためのベスト プラクティスを参照してください。 API キーを直接貼り付ける場合は、 |
次のいずれかのフィールドを使用して API キーを指定する必要があります: |
|
|
Google クラウドVertex AIサービス にアクセスできる サービス アカウント の秘密鍵は、プレーンテキストのシークレットとして提供されます。 サービス アカウント キーを管理するためのベスト プラクティスを参照してください。 Databricks Secrets を使用してキーを参照する場合は、 |
次のいずれかのフィールドを使用して API キーを指定する必要があります: |
|
|
これは、Google Cloud Vertex AIサービスのリージョンです。 詳細については、「 サポートされているリージョン 」を参照してください。 一部のモデルは、特定の地域でのみ利用できます。 |
はい |
|
|
これは、サービス アカウントが関連付けられている Google Cloud プロジェクト ID です。 |
はい |
Amazon Bedrock
Amazon Bedrock を外部モデルプロバイダーとして使用するには、顧客は指定された AWS リージョンで Bedrock が有効になっていること、および指定された AWS キーペアが Bedrock サービスと対話するための適切なアクセス許可を持っていることを確認する必要があります。 詳細については、 「AWS Identity and Access Management」を参照してください。
構成パラメーター |
説明 |
*必須 |
デフォルト |
|---|---|---|---|
|
使用する AWS リージョン。 そこで Bedrock を有効にする必要があります。 |
はい |
|
|
AmazonリソースARN サービス対象エンティティがAWS リソースにアクセスするために使用するインスタンスの名前 ( )。 |
インスタンスまたはアクセス キーを使用して認証する必要があります。 アクセス キーを使用する場合は、 |
|
|
Bedrock サービスとやり取りするためのアクセス許可を持つ アクセスキー ID のDatabricks シークレットキー リファレンス。AWSAPI キーを直接貼り付ける場合は、 |
インスタンスまたはアクセス キーを使用して認証する必要があります。 アクセス キーを使用する場合は、次のいずれかのフィールドを使用して API キーを指定する必要があります: |
|
|
プレーンテキスト文字列として提供される、Bedrock サービスと対話するためのアクセス許可を持つ AWS アクセスキー ID。 Databricks Secrets を使用してキーを参照する場合は、 |
インスタンスまたはアクセス キーを使用して認証する必要があります。 アクセス キーを使用する場合は、次のいずれかのフィールドを使用して API キーを指定する必要があります: |
|
|
Bedrock サービスと対話するためのアクセス許可を持つ、アクセスキー ID とペアになったDatabricks シークレットアクセスキーの シークレットキー リファレンス。AWSAPI キーを直接貼り付ける場合は、 |
インスタンスまたはアクセス キーを使用して認証する必要があります。 アクセス キーを使用する場合は、次のいずれかのフィールドを使用して API キーを指定する必要があります: |
|
|
アクセスキー ID とペアになった AWS シークレットアクセスキー。Bedrock サービスと対話するためのアクセス許可がプレーンテキスト文字列として提供されます。 Databricks Secrets を使用してキーを参照する場合は、 |
インスタンスまたはアクセス キーを使用して認証する必要があります。 アクセス キーを使用する場合は、次のいずれかのフィールドを使用して API キーを指定する必要があります: |
|
|
Amazon Bedrock の基盤となるプロバイダー。 サポートされている値 (大文字と小文字は区別されません) は次のとおりです: Anthropic、Cohere、AI21Labs、Amazon |
はい |
次の例は、インスタンスプロファイルを使用して Amazon Bedrock でエンドポイントを作成する方法を示しています。 アクセス キーを使用する場合は、 aws_access_key_id と aws_secret_access_keyを使用します。
client.create_endpoint(
name="bedrock-anthropic-completions-endpoint",
config={
"served_entities": [
{
"external_model": {
"name": "claude-v2",
"provider": "amazon-bedrock",
"task": "llm/v1/completions",
"amazon_bedrock_config": {
"aws_region": "<YOUR_AWS_REGION>",
"instance_profile_arn": "<YOUR_AWS_INSTANCE_PROFILE_ARN>", ## Remove if using access keys
# "aws_access_key_id": "{{secrets/my_amazon_bedrock_secret_scope/aws_access_key_id}}",
# "aws_secret_access_key": "{{secrets/my_amazon_bedrock_secret_scope/aws_secret_access_key}}",
"bedrock_provider": "anthropic",
},
}
}
]
},
)
AWS のアクセス許可に問題がある場合、Databricks ではAmazon Bedrock APIを使用して認証情報を直接確認することをお勧めします。
AI21 Labs
構成パラメーター |
説明 |
*必須 |
デフォルト |
|---|---|---|---|
|
キーのDatabricks シークレットキーAI21 LabsAPI リファレンス。API キーを直接貼り付ける場合は、 |
次のいずれかのフィールドを使用して API キーを指定する必要があります: |
|
|
プレーンテキスト文字列として提供される AI21 Labs API キー。 Databricks Secrets を使用してキーを参照する場合は、 |
次のいずれかのフィールドを使用して API キーを指定する必要があります: |
エンドポイントでの AI Gateway の構成
また、エンドポイントを設定して、レート制限、使用状況の追跡、ガードレールなどの Mosaic AI Gateway 機能を有効にすることもできます。
モデルサービングエンドポイントでのAIゲートウェイの設定を参照してください。
外部モデルエンドポイントをクエリーする
外部モデルエンドポイントを作成すると、ユーザーからのトラフィックを受信する準備が整います。
OpenAI クライアント、REST API、または MLflow Deployments SDK を使用して、スコアリング リクエストをエンドポイントに送信できます。
POST /serving-endpoints/{name}/invocations のスコアリング要求の標準クエリー パラメーターを参照してください。
次の例では、OpenAI クライアントを使用して、Anthropic によってホストされている claude-2 入力候補モデルに対してクエリを実行します。 OpenAI クライアントを使用するには、クエリするモデルをホストするモデルサービング エンドポイントの名前をmodelフィールドに入力します。
この例では、以前に作成したエンドポイント anthropic-completions-endpointを使用して、Anthropic モデル プロバイダーから外部モデルにアクセスするように構成します。 外部モデルエンドポイントの作成方法を参照してください。
クエリできる追加のモデルとそのプロバイダーについては 、「サポートされているモデル 」を参照してください。
import os
import openai
from openai import OpenAI
client = OpenAI(
api_key="dapi-your-databricks-token",
base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)
completion = client.completions.create(
model="anthropic-completions-endpoint",
prompt="what is databricks",
temperature=1.0
)
print(completion)
想定される出力応答形式:
{
"id": "123", # Not Required
"model": "anthropic-completions-endpoint",
"choices": [
{
"text": "Hello World!",
"index": 0,
"logprobs": null, # Not Required
"finish_reason": "length" # Not Required
}
],
"usage": {
"prompt_tokens": 8,
"total_tokens": 8
}
}
追加のクエリーパラメーター
エンドポイントのプロバイダーがサポートする追加のパラメーターをクエリーの一部として渡すことができます。
例：
logit_bias(OpenAI、Cohereによってサポートされています)。top_k(Anthropic、Cohereによってサポートされています)。frequency_penalty(OpenAI、Cohereによってサポートされています)。presence_penalty(OpenAI、Cohereによってサポートされています)。stream(OpenAI、Anthropic、Cohere、Amazon Bedrock for Anthropic によってサポートされています)。 これは、チャットと完了リクエストでのみ使用できます。
外部モデルのネットワーク接続構成のサポート
AWS PrivateLink を含む外部モデルの ネットワーク接続設定 (NCC) のサポートは、現在 プライベートプレビュー段階です。 Databricks アカウント チームに連絡して、プレビューに参加してください。
制限事項
選択した外部モデルによっては、構成によって、データが元のリージョン外で処理される場合があります。 モデルサービングの制限と領域を参照してください。