Databricks 基盤モデル APIs 対応モデル
この記事では、トークン単位の従量課金モードで Databricks 基盤モデル APIs でサポートされている最先端のオープンモデルについて説明します。
米国リージョンでのみサポートされているトークン単位の従量課金モデルについては、 基盤モデルの APIs 制限 を参照してください。
これらのモデルにクエリ要求を送信するには、 Databricks ワークスペースで使用可能なトークン単位の従量課金エンドポイントを使用します。 使用するモデル・エンドポイントの名前については、 基盤モデルの使用 および トークン単位の従量課金サポート・モデル表 を参照してください。
基盤モデル APIs は、トークン単位の従量課金モードでモデルをサポートするだけでなく、プロビジョニング スループット モードも提供します。 Databricks では、本番運用ワークロードのプロビジョニング スループットを推奨しています。 このモードは、トークン単位の従量課金モードでサポートされている微調整されたカスタムの事前トレーニング済みモデルを含む、モデル アーキテクチャ ファミリ (DBRX モデルなど) のすべてのモデルをサポートします。 サポートされているアーキテクチャの一覧については、 プロビジョニング スループット 基盤モデル APIs を参照してください。
これらのサポートされているモデルは、 AI Playgroundを使用して操作できます。
Meta Llama 3.3 70B インストラクション
2024 年 12 月 11 日以降、Meta-Llama-3.3-70B-Instruct は、トークン単位の従量課金エンドポイントの基盤モデル API Meta-Llama-3.1-70B-Instruct のサポートを置き換えます。
Meta Llama 3.3 は 、LLAMA 3.3 コミュニティ ライセンス、著作権 (c) Meta Platforms, Inc. の下でライセンスされています。 全著作権所有。お客様は、このライセンスおよび Llama 3.3 Acceptable Use ポリシーの条件に対するコンプライアンスを確保する責任があります。
Meta-Llama-3.3-70B-Instructは、Metaによって構築およびトレーニングされた、コンテキスト128,000トークンの最先端の大規模言語モデルです。 このモデルは複数の言語をサポートし、対話のユースケースに最適化されています。 Meta Llama 3.3の詳細をご覧ください。
他の大規模言語モデルと同様に、Llama-3の出力では一部の事実が省略され、誤った情報が生成される場合があります。 Databricks では、精度が特に重要なシナリオで取得拡張生成 (RAG) を使用することをお勧めします。
Meta Llama 3.1 405B インストラクション
プレビュー
このモデルを基盤モデル APIs で使用することは、 パブリック プレビュー段階です。 このモデルの使用中にエンドポイントのエラーや安定化エラーが発生した場合は、Databricks アカウント チームにお問い合わせください。
Meta Llama 3.1 は 、LLAMA 3.1 コミュニティ ライセンス、Copyright (c) Meta Platforms, Inc. の下でライセンスされています。 全著作権所有。お客様は、該当するモデルライセンスでコンプライアンスを確保する責任があります。
Meta-Llama-3.1-405B-Instruct は、Meta によって構築およびトレーニングされた、公開されている最大の最先端の大規模言語モデルです。 このモデルを使用することで、顧客は高度なマルチステップ推論や 高品質の合成データ生成など、新しい機能を引き出すことができます。 このモデルは、品質の面でGPT-4-Turboと競合しています。
meta-llama-3.1-70B-instructのように、 このモデルのコンテキストは 128,000 トークンで、10 の言語がサポートされています。 これは、有用性と安全性に対する人間の好みと一致し、対話のユースケースに最適化されています。 Meta Llama 3.1モデルの詳細をご覧ください。
他の大規模言語モデルと同様に、Llama-3.1 の 出力では、一部の事実が省略され、誤った情報が生成される場合があります。 Databricks では、精度が特に重要なシナリオで取得拡張生成 (RAG) を使用することをお勧めします。
Anthropicクロード3.7ソネット
お客様は、 利用規定の条件に対するコンプライアンスを確保する責任があります。
Claude 3.7 Sonnetは、Anthropicによって構築および訓練された最先端のハイブリッド推論モデルです。これは、タスクの複雑さに基づいて推論を迅速に応答または拡張できる大規模言語モデルおよび推論モデルです。 拡張思考モードでは、Claude 3.7 Sonnetの推論ステップがユーザーに表示されます。Claude 3.7 Sonnetは、コード生成、数学的推論、命令追従などのさまざまなタスクに最適化されています。
他の大規模言語モデルと同様に、Claude 3.7 の出力では一部の事実が省略され、誤った情報が生成される場合があります。 Databricks では、精度が特に重要なシナリオで取得拡張生成 (RAG) を使用することをお勧めします。
このエンドポイントは、Databricks Inc. によって AWS の Databricks セキュリティ境界内でホストされます。
DBRX インストラクション
このモデルは、2025 年 4 月 30 日以降はサポートされなくなりました。 推奨されるモデル交換については、 廃止されたモデル を参照してください。
DBRX は、 Databricks Open Model License, Copyright (c)) Databricks, Inc. に基づいて提供され、これに従うものとします。全著作権所有。お客様は、 Databricks Acceptable Use ポリシーを含む、該当するモデル ライセンスのコンプライアンスを確保する責任があります。
DBRX Instruct は、Databricks によってトレーニングされた最先端の Mixture of Experts (MoE) 言語モデルです。
このモデルは、標準的なベンチマークで確立されたオープンソースモデルよりも優れており、テキストの要約、質問応答、抽出、コーディングなどの幅広い自然言語タスクに優れています。
DBRX Instruct は、最大 32k の入力長を処理でき、最大 4k トークンの出力を生成します。 MoEアーキテクチャのおかげで、DBRX Instructは推論に非常に効率的で、合計132Bのトレーニング済みパラメーターのうち36Bパラメーターのみをアクティブにします。 このモデルを提供するトークン単位の従量課金エンドポイントには、1 秒あたり 1 クエリのレート制限があります。 モデルサービングの制限と地域を参照してください。
他の大規模言語モデルと同様に、DBRX Instructの出力では一部の事実が省略され、場合によっては誤った情報が生成される場合があります。 Databricks では、精度が特に重要なシナリオでは、取得拡張生成 (RAG) を使用することをお勧めします。
DBRX モデルは、次のデフォルトのシステム・プロンプトを使用して、モデル応答の関連性と精度を確保します。
You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.
Mixtral-8x7B インストラクション
このモデルは、2025 年 4 月 30 日以降はサポートされなくなりました。 推奨されるモデル交換については、 廃止されたモデル を参照してください。
Mixtral-8x7B Instruct は、Mistral AI によって学習された高品質の SMoE (Sparse Mixture of Experts Model) です。 Mixtral-8x7B Instructは、質問応答、要約、抽出など、さまざまなタスクに使用できます。
Mixtral は、最大 32k トークンのコンテキスト長を処理できます。 Mixtral は、英語、フランス語、イタリア語、ドイツ語、スペイン語を処理できます。 Mixtralは、ほとんどのベンチマークでLlama 2 70BおよびGPT3.5と同等または上回るパフォーマンス(Mixtralパフォーマンス)を持ち、推論ではLlama 70Bの4倍高速です。
他の大規模言語モデルと同様に、Mixtral-8x7B Instruct モデルは、事実に基づいた正確な情報を生成するために信頼されるべきではありません。 事前学習データのクリーニングには多大な努力が払われていますが、このモデルがわいせつな、偏った、またはその他の不快な出力を生成する可能性があります。 リスクを軽減するために、Databricks はデフォルトで Mistral の セーフ モード システム プロンプトのバリアントを使用します。
GTE Large (EN)
GTE Large (En) は、 Apache 2.0 ライセンス、Copyright (c) The Apache Software Foundation, All rights reserved.お客様は、該当するモデルライセンスでコンプライアンスを確保する責任があります。
General Text Embedding(GTE) は、任意のテキストを1024次元の埋め込みベクトルと8192トークンの埋め込みウィンドウにマップできるテキスト埋め込みモデルです。 これらのベクトルは、LLM のベクトル データベースや、検索、分類、質問応答、クラスタリング、セマンティック検索などのタスクに使用できます。 このエンドポイントは、モデルの英語版を提供し、正規化された埋め込みは生成しません。
埋め込みモデルは、取得拡張生成(RAG)のユースケースでLLMと組み合わせて使用すると特に効果的です。 GTE は、LLM のコンテキストで使用できる大きなドキュメント内の関連するテキストスニペットを見つけるために使用できます。
BGEラージ (ja)
BAAI General Embedding(BGE) は、任意のテキストを1024次元の埋め込みベクトルと512トークンの埋め込みウィンドウにマップできるテキスト埋め込みモデルです。 これらのベクトルは、LLM のベクトル データベースや、検索、分類、質問応答、クラスタリング、セマンティック検索などのタスクに使用できます。 このエンドポイントは、英語版のモデルを提供し、正規化された埋め込みを生成します。
埋め込みモデルは、取得拡張生成(RAG)のユースケースでLLMと組み合わせて使用すると特に効果的です。 BGEは、LLMのコンテキストで使用できるドキュメントの大きなチャンクで関連するテキストスニペットを見つけるために使用できます。
RAGアプリケーションでは、命令パラメーターを含めることで、取得システムのパフォーマンスを向上させることができる場合があります。 BGEの作成者は、クエリの埋め込みに命令 "Represent this sentence for searching relevant passages:" を試すことを推奨していますが、パフォーマンスへの影響はドメインによって異なります。