基盤モデルのサービング Endpoint（レガシー）

注記

このページでは、レガシーのエンドポイントベースの Model Serving ワークフローについて説明します。Unity Gateway を介してモデルを検索およびクエリーするには、利用可能なモデルおよびモデルサービスのクエリーを参照してください。

Databricksの外部でホストされている基盤モデルにアクセスする

OpenAIやAnthropicなどのLLMプロバイダーによって作成された基盤モデルにも、外部モデルを使用してDatabricksでアクセスできます。これらのモデルはDatabricksの外部でホストされており、Endpointを作成してクエリーを実行できます。これらの Endpoint は Databricks から一元的に管理できるため、組織内のさまざまな LLM プロバイダーの使用と管理を効率化できます。

次の表に、サポートされているモデルと対応するEndpoint の種類の網羅的ではないリストを示します。記載されているモデル関連付けを使用すると、特定のプロバイダーで新しくリリースされたモデルタイプが利用可能になったときに、Endpointを構成するのに役立ちます。お客様は、適用されるモデルライセンスへのコンプライアンスを確保する責任があります。

注記

LLMの急速な開発に伴い、このリストが常に最新であるとは限りません。同じプロバイダーからの新しいモデル バージョンは、リストに載っていない場合でも通常サポートされます。

モデルプロバイダー	llm/v1/completions	llm/v1/chat	llm/v1/embeddings
OpenAI**	gpt-3.5-turbo-instruct - babbage-002 - davinci-002	o1 - o1-mini - o1-mini-2024-09-12 - gpt-3.5-turbo - gpt-4 - gpt-4-turbo - gpt-4-turbo-2024-04 - gpt-4o - gpt-4o-2024-05-13 - gpt-4o-mini	text-embedding-ada-002 - text-embedding-3-large - text-embedding-3-small
Azure OpenAI**	text-davinci-003 - gpt-35-turbo-instruct	o1 - o1-mini - gpt-35-turbo - gpt-35-turbo-16k - gpt-4 - gpt-4-turbo - gpt-4-32k - gpt-4o - gpt-4o-mini	text-embedding-ada-002 - text-embedding-3-large - text-embedding-3-small
Anthropic	claude-1 - claude-1.3-100k - claude-2 - claude-2.1 - claude-2.0 - claude-instant-1.2	claude-3-5-sonnet-latest - claude-3-5-haiku-latest - claude-3-5-opus-latest - claude-3-5-sonnet-20241022 - claude-3-5-haiku-20241022 - claude-3-5-sonnet-20240620 - claude-3-haiku-20240307 - claude-3-opus-20240229 - claude-3-sonnet-20240229
Cohere**	command - command-light	command-r7b-12-2024 - command-r-plus-08-2024 - command-r-08-2024 - command-r-plus - command-r - command - command-light-nightly - command-light - command-nightly	embed-english-v2.0 - embed-multilingual-v2.0 - embed-english-light-v2.0 - embed-english-v3.0 - embed-english-light-v3.0 - embed-multilingual-v3.0 - embed-multilingual-light-v3.0
モデルサービング	Databricks serving endpoint	Databricks serving endpoint	Databricks serving endpoint
Amazon Bedrock	Anthropic: - claude-instant-v1 - claude-v2 Cohere: - command-text-v14 - command-light-text-v14 AI21 Labs: - j2-grande-instruct - j2-jumbo-instruct - j2-mid - j2-mid-v1 - j2-ultra - j2-ultra-v1	Anthropic: - claude-3-5-sonnet-20241022-v2:0 - claude-3-5-haiku-20241022-v1:0 - claude-3-opus-20240229-v1:0 - claude-3-sonnet-20240229-v1:0 - claude-3-5-sonnet-20240620-v1:0 Cohere: - command-r-plus-v1:0 - command-r-v1:0 Amazon: - nova-lite-v1:0 - nova-micro-v1:0 - nova-pro-v1:0	Amazon: - titan-embed-text-v2:0 - titan-embed-text-v1 - titan-embed-g1-text-02 Cohere: - embed-english-v3 - embed-multilingual-v3
AI21 Labs†	j2-mid - j2-light - j2-ultra
Google Cloud Vertex AI	text-bison	chat-bison - gemini-pro - gemini-1.0-pro - gemini-1.5-pro - gemini-1.5-flash - gemini-2.0-flash	text-embedding-004 - text-embedding-005 - textembedding-gecko

モデルプロバイダー	llm/v1/completions	llm/v1/chat	llm/v1/embeddings
OpenAI**	gpt-3.5-turbo-instruct - babbage-002 - davinci-002	o1 - o1-mini - o1-mini-2024-09-12 - gpt-3.5-turbo - gpt-4 - gpt-4-turbo - gpt-4-turbo-2024-04 - gpt-4o - gpt-4o-2024-05-13 - gpt-4o-mini	text-embedding-ada-002 - text-embedding-3-large - text-embedding-3-small
Azure OpenAI**	text-davinci-003 - gpt-35-turbo-instruct	o1 - o1-mini - gpt-35-turbo - gpt-35-turbo-16k - gpt-4 - gpt-4-turbo - gpt-4-32k - gpt-4o - gpt-4o-mini	text-embedding-ada-002 - text-embedding-3-large - text-embedding-3-small
Anthropic	claude-1 - claude-1.3-100k - claude-2 - claude-2.1 - claude-2.0 - claude-instant-1.2	claude-3-5-sonnet-latest - claude-3-5-haiku-latest - claude-3-5-opus-latest - claude-3-5-sonnet-20241022 - claude-3-5-haiku-20241022 - claude-3-5-sonnet-20240620 - claude-3-haiku-20240307 - claude-3-opus-20240229 - claude-3-sonnet-20240229
Cohere**	command - command-light	command-r7b-12-2024 - command-r-plus-08-2024 - command-r-08-2024 - command-r-plus - command-r - command - command-light-nightly - command-light - command-nightly	embed-english-v2.0 - embed-multilingual-v2.0 - embed-english-light-v2.0 - embed-english-v3.0 - embed-english-light-v3.0 - embed-multilingual-v3.0 - embed-multilingual-light-v3.0
モデルサービング	Databricks serving endpoint	Databricks serving endpoint	Databricks serving endpoint
Amazon Bedrock	Anthropic: - claude-instant-v1 - claude-v2 Cohere: - command-text-v14 - command-light-text-v14 AI21 Labs: - j2-grande-instruct - j2-jumbo-instruct - j2-mid - j2-mid-v1 - j2-ultra - j2-ultra-v1	Anthropic: - claude-3-5-sonnet-20241022-v2:0 - claude-3-5-haiku-20241022-v1:0 - claude-3-opus-20240229-v1:0 - claude-3-sonnet-20240229-v1:0 - claude-3-5-sonnet-20240620-v1:0 Cohere: - command-r-plus-v1:0 - command-r-v1:0 Amazon: - nova-lite-v1:0 - nova-micro-v1:0 - nova-pro-v1:0	Amazon: - titan-embed-text-v2:0 - titan-embed-text-v1 - titan-embed-g1-text-02 Cohere: - embed-english-v3 - embed-multilingual-v3
AI21 Labs†	j2-mid - j2-light - j2-ultra
Google Cloud Vertex AI	text-bison	chat-bison - gemini-pro - gemini-1.0-pro - gemini-1.5-pro - gemini-1.5-flash - gemini-2.0-flash	text-embedding-004 - text-embedding-005 - textembedding-gecko

** モデル プロバイダーは、ファインチューニングされた補完モデルとチャット モデルをサポートしています。 ファインチューニングされたモデルをクエリするには、external model構成の name フィールドにファインチューニングされたモデルの名前を入力します。

† モデル プロバイダーは、カスタム補完モデルをサポートしています。

基盤モデルのServing Endpointを作成する

AIアプリケーションで基盤モデルをクエリーして使用するには、最初にモデルサービングEndpointを作成する必要があります。Model Servingでは、基盤モデルのサービングEndpointの作成と更新に、統一されたAPIとUIを使用します。

• 「基盤モデル API プロビジョニング スループットを使用して利用可能になった基盤モデルの微調整されたバリアントを提供するエンドポイントを作成するには、「REST APIを使用してプロビジョニング スループット エンドポイントを作成する」を参照してください。
• 「外部モデル」機能を使用して利用可能になった基盤モデルにアクセスするサービングEndpointsを作成するには、外部モデルサービングEndpointの作成を参照してください。

基盤モデルのサービングEndpointをクエリーする

サービングEndpointを作成した後、基盤モデルに対してクエリーを実行できます。Model Serving では、基盤モデルをクエリーするために、統一された OpenAI 互換の API と SDK を使用します。この統合されたエクスペリエンスにより、サポートされているクラウドやプロバイダー全体で、本番運用のための基盤モデルのエクスペリメントやカスタマイズを簡単に行うことができます。

基盤モデルの使用を参照してください。