トークン単位の従量課金がサポートされるモデル

重要

GTE Large (En) および Meta Llama 3.3 70B Instruct モデルのみが、トークン単位の従量課金 EU および米国のサポート地域で利用できます。

米国リージョンでのみサポートされているトークン単位の従量課金モデルについては、基盤モデルの APIs 制限を参照してください。

この記事では、 Databricks基盤APIsによってトークン単位の従量課金モードでサポートされる最先端のオープン・モデルについて説明します。

これらのモデルにクエリ要求を送信するには、 Databricks ワークスペースで使用可能なトークン単位の従量課金エンドポイントを使用します。使用するモデル・エンドポイントの名前については、 Query 基盤モデルおよびトークン単位の従量課金サポートされるモデルの表を参照してください。

トークン単位の従量課金モードでのモデルのサポートに加えて、基盤APIsはプロビジョニング・スループット・モードも提供します。 Databricks本番運用ワークロードにはプロビジョニングスループットを推奨します。このモードは、トークン単位の従量課金モードでサポートされる微調整されたカスタムの事前トレーニングされたモデルを含む、モデルアーキテクチャファミリのすべてのモデル (DBRX モデルなど) をサポートします。サポートされているアーキテクチャのリストについては、「プロビジョニングスループットプラットフォームAPIsを参照してください。

これらのサポートされているモデルは、AI Playgroundを使用して操作できます。

Meta Llama 3.3 70B インストラクション

重要

2024 年 12 月 11 日以降、Meta-Llama-3.3-70B-Instruct は、トークン単位の従量課金エンドポイントの基盤モデル APIs Meta-Llama-3.1-70B-Instruct のサポートを置き換えます。

重要

Meta-Llama-3.3-70B-Instructは、Metaによって構築およびトレーニングされた、コンテキスト128,000トークンの最先端の大規模言語モデルです。このモデルは複数の言語をサポートし、対話のユースケースに最適化されています。 Meta Llama 3.3の詳細をご覧ください。

他の大規模言語モデルと同様に、Llama-3の出力では一部の事実が省略され、誤った情報が生成される場合があります。 Databricks では、精度が特に重要なシナリオで取得拡張生成 (RAG) を使用することをお勧めします。

メタ Llama 3.1 405B インストラクション

プレビュー

このモデルを基盤モデル APIs で使用することは、パブリックプレビュー段階です。このモデルの使用中にエンドポイントのエラーや安定化エラーが発生した場合は、Databricks アカウントチームにお問い合わせください。

重要

Meta-Llama-3.1-405B-Instruct は、Meta によって構築およびトレーニングされた、公開されている最大の最先端の大規模言語モデルです。このモデルを使用することで、顧客は高度なマルチステップ推論や高品質の合成データ生成など、新しい機能を引き出すことができます。このモデルは、品質の面でGPT-4-Turboと競合しています。

meta-llama-3.1-70B-instructのように、このモデルのコンテキストは 128,000 トークンで、10 の言語がサポートされています。これは、有用性と安全性に対する人間の好みと一致し、対話のユースケースに最適化されています。 Meta Llama 3.1モデルの詳細をご覧ください。

他の大規模言語モデルと同様に、Llama-3.1 の出力では、一部の事実が省略され、誤った情報が生成される場合があります。 Databricks では、精度が特に重要なシナリオで取得拡張生成 (RAG) を使用することをお勧めします。

DBRX Instruct

重要

DBRX Instruct は、Databricks によってトレーニングされた最先端の Mixture of Experts (MoE) 言語モデルです。

このモデルは、標準的なベンチマークで確立されたオープンソースモデルよりも優れており、テキストの要約、質問応答、抽出、コーディングなどの幅広い自然言語タスクに優れています。

DBRX Instructは、最大 32,000 個の入力長トークンを処理でき、最大 4,000 個のトークンの出力を生成します。 MoE アーキテクチャのおかげで、DBRX Instruct は推論効率が高く、合計 132B のトレーニング済みパラメーターのうち 36B パラメーターのみをアクティブにします。このモデルを提供するトークン単位の従量課金のエンドポイントには、1 秒あたり 1 つのクエリというレート制限があります。「モデルサービングの制限と地域」を参照してください。

他の大規模言語モデルと同様に、DBRX Instructの出力では一部の事実が省略され、場合によっては誤った情報が生成される場合があります。 Databricks では、精度が特に重要なシナリオでは、取得拡張生成 (RAG) を使用することをお勧めします。

DBRX モデルは、次のデフォルトのシステム・プロンプトを使用して、モデル応答の関連性と精度を確保します。

You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.

Mixtral-8x7B Instruct

Mixtral-8x7B Instruct は、Mistral AI によって学習された高品質の SMoE (Sparse Mixture of Experts Model) です。 Mixtral-8x7B Instructは、質問応答、要約、抽出など、さまざまなタスクに使用できます。

Mixtral は、最大 32k トークンのコンテキスト長を処理できます。 Mixtral は、英語、フランス語、イタリア語、ドイツ語、スペイン語を処理できます。 Mixtralは、ほとんどのベンチマークでLlama 2 70BおよびGPT3.5と同等または上回るパフォーマンス(Mixtralパフォーマンス)を持ち、推論ではLlama 70Bの4倍高速です。

他の大規模言語モデルと同様に、Mixtral-8x7B Instruct モデルは、事実に基づいた正確な情報を生成するために信頼されるべきではありません。事前学習データのクリーニングには多大な努力が払われていますが、このモデルがわいせつな、偏った、またはその他の不快な出力を生成する可能性があります。リスクを軽減するために、Databricks はデフォルトで Mistral のセーフモードシステムプロンプトのバリアントを使用します。

GTE Large (EN)

重要

General Text Embedding(GTE) は、任意のテキストを1024次元の埋め込みベクトルと8192トークンの埋め込みウィンドウにマップできるテキスト埋め込みモデルです。これらのベクトルは、LLM のベクトルデータベースや、検索、分類、質問応答、クラスタリング、セマンティック検索などのタスクに使用できます。このエンドポイントは、モデルの英語版を提供し、正規化された埋め込みは生成しません。

埋め込みモデルは、取得拡張生成(RAG)のユースケースでLLMと組み合わせて使用すると特に効果的です。 GTE は、LLM のコンテキストで使用できる大きなドキュメント内の関連するテキストスニペットを見つけるために使用できます。

BGEラージ (ja)

BAAI General Embedding(BGE) は、任意のテキストを1024次元の埋め込みベクトルと512トークンの埋め込みウィンドウにマップできるテキスト埋め込みモデルです。これらのベクトルは、LLM のベクトルデータベースや、検索、分類、質問応答、クラスタリング、セマンティック検索などのタスクに使用できます。このエンドポイントは、英語版のモデルを提供し、正規化された埋め込みを生成します。

埋め込みモデルは、取得拡張生成(RAG)のユースケースでLLMと組み合わせて使用すると特に効果的です。 BGEは、LLMのコンテキストで使用できるドキュメントの大きなチャンクで関連するテキストスニペットを見つけるために使用できます。

RAGアプリケーションでは、命令パラメーターを含めることで、取得システムのパフォーマンスを向上させることができる場合があります。 BGEの作成者は、クエリの埋め込みに命令 "Represent this sentence for searching relevant passages:" を試すことを推奨していますが、パフォーマンスへの影響はドメインによって異なります。