トークン単位の従量課金がサポートされるモデル

プレビュー

この記事では、 Databricks基盤APIsによってトークン単位の従量課金モードでサポートされる最先端のオープン・モデルについて説明します。

Databricksで使用可能なトークン単位の従量課金エンドポイントを使用して、これらのモデルにクエリ要求を送信できます。使用するモデルエンドポイントの名前については、クエリ基盤モデルとトークン単位の従量課金でサポートされているモデルの表を参照してください。

トークン単位の従量課金モードでのモデルのサポートに加えて、基盤APIsはプロビジョニング・スループット・モードも提供します。 Databricks本番運用ワークロードにはプロビジョニングスループットを推奨します。このモードは、トークン単位の従量課金モードでサポートされる微調整されたカスタムの事前トレーニングされたモデルを含む、モデルアーキテクチャファミリのすべてのモデル (DBRX モデルなど) をサポートします。サポートされているアーキテクチャのリストについては、「プロビジョニングスループットプラットフォームAPIsを参照してください。

AI Playgroundを使用して、これらのサポートされているモデルと対話できます。

DBRX Instruct

重要

DBRX Instruct は、Databricks によってトレーニングされた最先端の専門家混合 (MoE) 言語モデルです。

このモデルは、標準ベンチマークで確立されたオープンソースモデルよりも優れたパフォーマンスを示し、テキストの要約、質問応答、抽出、コーディングなどの幅広い自然言語タスクで優れています。

DBRX Instructは、最大 32,000 個の入力長トークンを処理でき、最大 4,000 個のトークンの出力を生成します。 MoE アーキテクチャのおかげで、DBRX Instruct は推論効率が高く、合計 132B のトレーニング済みパラメーターのうち 36B パラメーターのみをアクティブにします。このモデルを提供するトークン単位の従量課金のエンドポイントには、1 秒あたり 1 つのクエリというレート制限があります。「モデルサービングの制限と地域」を参照してください。

他の大規模言語モデルと同様に、DBRX Instructの出力では一部の事実が省略され、場合によっては誤った情報が生成される場合があります。 Databricks では、精度が特に重要なシナリオでは、取得拡張生成 (RAG) を使用することをお勧めします。

DBRX モデルは、次のデフォルトのシステムプロンプトを使用して、モデル応答の関連性と正確性を確保します。

You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.

Llama 3 70B 指導

重要

Meta-Llama-3-70B-Instruct は、Meta によって構築およびトレーニングされた、8000 トークンのコンテキストを持つ最先端の 70B ドメイン高密度言語モデルです。このモデルは、対話のユースケースに最適化されており、有用性と安全性に対する人間の好みに合わせて調整されています。英語以外の言語での使用は意図されていません。 Meta Llama 3 モデルの詳細をご覧ください。

他の大規模言語モデルと同様に、Llama-3 の出力では一部の事実が省略され、誤った情報が生成されることがあります。 Databricks では、精度が特に重要なシナリオでは、検索拡張生成 (RAG) を使用することをお勧めします。

Llama 2 70B Chat

重要

Llama-2-70B-Chatは、Metaによってトレーニングされた、コンテキスト長が4,096トークンの最先端の70Bパラメーター言語モデルです。要約、質問応答、チャットアプリケーションなど、強力な推論機能を必要とする対話型アプリケーションを得意としています。

他の大規模言語モデルと同様に、Llama-2-70B の出力では一部の事実が省略され、誤った情報が生成されることがあります。 Databricks では、精度が特に重要なシナリオでは、検索拡張生成 (RAG) を使用することをお勧めします。

Mixtral-8x7B Instruct

Mixtral-8x7B Instructは、Mistral AIによってトレーニングされた高品質のスパース・ミックス・オブ・エキスパート・モデル(SMoE)です。 Mixtral-8x7B Instructは、質問応答、要約、抽出など、さまざまなタスクに使用できます。

Mixtral は最大 32k トークンのコンテキスト長を処理できます。 Mixtral は、英語、フランス語、イタリア語、ドイツ語、スペイン語を処理できます。 Mixtral は、ほとんどのベンチマーク ( Mixtral パフォーマンス) で Llama 2 70B および GPT3.5 と同等かそれ以上の性能を発揮し、推論時には Llama 70B より 4 倍高速です。

他の大規模言語モデルと同様に、Mixtral-8x7B Instructモデルは、事実に基づいた正確な情報を生成するために依存すべきではありません。事前学習データのクリーニングには多大な努力が払われていますが、このモデルでは、わいせつな、偏った、またはその他の不快な出力が生成される可能性があります。リスクを軽減するために、Databricks では Mistral のセーフモードシステムプロンプトのバリアントを使用します。

GTE Large (英語)

重要

General Text Embedding (GTE) は、任意のテキストを 1024 次元の埋め込みベクトルと 8192 トークンの埋め込みウィンドウにマッピングできるテキスト埋め込みモデルです。これらのベクトルは、LLM のベクトルデータベースや、検索、分類、質問応答、クラスタリング、セマンティック検索などのタスクに使用できます。このエンドポイントは、英語版のモデルを提供します。

埋め込みモデルは、検索拡張世代(RAG)のユースケースでLLMと組み合わせて使用する場合に特に効果的です。 GTE を使用すると、LLM のコンテキストで使用できる大量のドキュメント内の関連するテキストスニペットを見つけることができます。

BGE ラージ (ja)

BAAI General Embedding (BGE) は、任意のテキストを 1024 次元の埋め込みベクトルと 512 トークンの埋め込みウィンドウにマッピングできるテキスト埋め込みモデルです。これらのベクトルは、LLM のベクトルデータベースや、検索、分類、質問応答、クラスタリング、セマンティック検索などのタスクに使用できます。このエンドポイントは、英語版のモデルを提供します。

埋め込みモデルは、検索拡張世代(RAG)のユースケースでLLMと組み合わせて使用すると特に効果的です。 BGEは、LLMのコンテキストで使用できるドキュメントの大きなチャンクから関連するテキストスニペットを見つけるために使用できます。

RAGアプリケーションでは、命令パラメーターを含めることで、取得システムのパフォーマンスを向上させることができる場合があります。 BGEの著者は、クエリー埋め込みの命令 "Represent this sentence for searching relevant passages:" を試すことを推奨していますが、パフォーマンスへの影響はドメインに依存します。

MPT 7B Instruct

重要

MPT 7B Instruct は退役する予定です。 2024 年 8 月 30 日以降、このモデルはサポートされなくなります。

MPT-7B-8K-Instruct は、長い形式の命令のフォロー、特に長いドキュメントに対する質問応答と要約のために MosaicML によってトレーニングされた 6.7B パラメーターモデルです。このモデルは、複数のデータセットで 1.5T トークン用に事前トレーニングされており、Databricks Dolly-15k と Anthropic Helpful and Harmless (HH-RLHF) データセットから派生したデータセットで微調整されています製品に表示されるモデル名は mpt-7b-instruct ですが、具体的に使用されているモデルは新しいバージョンのモデルです。

MPT-7B-8K-Instructは、質問応答、要約、抽出などのさまざまなタスクに使用できます。 Llama-2-70Bに比べて非常に高速ですが、応答の品質が低下する可能性があります。このモデルでは、8,000 トークンのコンテキスト長がサポートされます。 MPT-7B-8k-Instructモデルの詳細をご覧ください。

このサイズの他の言語モデルと同様に、MPT-7B-8K-Instructは、事実上正確な情報を生成するために信頼すべきではありません。このモデルは、さまざまな公開データセットでトレーニングされました。事前学習データのクリーニングには多大な努力が払われていますが、このモデルでは、わいせつな、偏った、またはその他の不快な出力が生成される可能性があります。

MPT 30B Instruct

重要

MPT 30B Instruct モデルは廃止される予定です。 2024 年 8 月 30 日以降、このモデルはサポートされなくなります。

MPT-30B-Instructは、MosaicMLで学習した命令追従用の30Bパラメーターモデルです。このモデルは、英語のテキストとコードが混在する 1T トークン用に事前トレーニングされ、Databricks Dolly-15k、Anthropic Helpful and Harmless (HH-RLHF)、CompetitionMath、DuoRC、CoT GSM8k、QASPER、QuALITY、SummScreen、Spider データセットから派生したデータセットでさらに指示が微調整されます。

MPT-30B-Instructは、質問応答、要約、抽出など、さまざまなタスクに使用できます。 Llama-2-70Bに比べて非常に高速ですが、応答の品質が低下する可能性があり、マルチターンチャットをサポートしていません。このモデルでは、8,192 トークンのコンテキスト長がサポートされます。 MPT-30B-Instructモデルの詳細をご覧ください。

このサイズの他の言語モデルと同様に、MPT-30B-Instructは、事実に基づく正確な情報を生成するために信頼すべきではありません。このモデルは、さまざまな公開データセットでトレーニングされました。事前トレーニングデータのクリーニングには多大な努力が払われていますが、このモデルでは、わいせつな、偏った、またはその他の不快な出力が生成される可能性があります。