Databricks 基盤モデルAPIがサポートするモデル
この記事では、トークン単位の従量課金モードで Databricks 基盤モデル API でサポートされている最先端のオープンモデルについて説明します。
トークン単位の従量課金モデルのリージョンの可用性については、Mosaic AI Model Servingでサポートされている基盤モデルを参照してください。
これらのモデルにクエリ要求を送信するには、 Databricks ワークスペースで使用可能なトークン単位の従量課金エンドポイントを使用します。 使用するモデル・エンドポイントの名前については、 基盤モデルの使用 および トークン単位の従量課金サポート・モデル表 を参照してください。
基盤モデル API は、トークン単位の従量課金モードでモデルをサポートするだけでなく、プロビジョン済みスループット モードも提供します。 Databricks では、本番運用ワークロードのプロビジョン済みスループットを推奨しています。 このモードは、トークン単位の従量課金モードでサポートされているファインチューンされたカスタムの事前トレーニング済みモデルを含む、モデル アーキテクチャ ファミリ (DBRX モデルなど) のすべてのモデルをサポートします。 サポートされているアーキテクチャの一覧については、 プロビジョン済みスループット 基盤モデル API を参照してください。
これらのサポートされているモデルは、 AI Playgroundを使用して操作できます。
Meta Llama 4 Maverick
Llama 4 コミュニティ ライセンスおよび利用規定ポリシーの適用に関しては、適用されるモデル開発者ライセンスおよび条件を参照してください。
Llama 4 Maverick は、Meta によって構築およびトレーニングされた最先端の大規模言語モデルです。これは、 Llama モデルファミリーの中で初めて、コンピュートの効率のために専門家のアーキテクチャを組み合わせて使用しました。 Llama 4 Maverickは複数の言語をサポートし、画像とテキストを正確に理解するユースケースに最適化されています。現在、Databricks による Llama 4 Maverick のサポートは、テキスト理解のユースケースに限定されています。Llama 4 Maverick の詳細をご覧ください。
他の大規模言語モデルと同様に、 Llama 4 の出力では一部の事実が省略され、誤った情報が生成される場合があります。 Databricks では、精度が特に重要なシナリオで取得拡張生成 (RAG) を使用することをお勧めします。
Meta Llama 3.3 70B Instruct
2024 年 12 月 11 日以降、Meta-Llama-3.3-70B-Instruct は、トークン単位の従量課金エンドポイントの基盤モデル API Meta-Llama-3.1-70B-Instruct のサポートを置き換えます。
LLama 3.3 コミュニティ ライセンスおよび利用規定ポリシーの適用に関しては、 適用されるモデル開発者ライセンスと条件 を参照してください。
Meta-Llama-3.3-70B-Instructは、Metaによって構築およびトレーニングされた、コンテキスト128,000トークンの最先端の大規模言語モデルです。 このモデルは複数の言語をサポートし、対話のユースケースに最適化されています。 Meta Llama 3.3の詳細をご覧ください。
他の大規模言語モデルと同様に、Llama-3の出力では一部の事実が省略され、誤った情報が生成される場合があります。 Databricks では、精度が特に重要なシナリオで取得拡張生成 (RAG) を使用することをお勧めします。
Meta Llama 3.1 405B Instruct
プレビュー
このモデルを基盤モデル API で使用することは、 パブリック プレビュー段階です。 このモデルの使用中にエンドポイントのエラーや安定化エラーが発生した場合は、Databricks アカウント チームにお問い合わせください。
Llama 3.1 コミュニティ ライセンスおよび利用規定ポリシーの適用に関しては 適用されるモデル開発者ライセンスおよび条件 」を参照してください。
Meta-Llama-3.1-405B-Instruct は、Meta によって構築およびトレーニングされた、公開されている最大の最先端の大規模言語モデルです。 このモデルを使用することで、顧客は高度なマルチステップ推論や 高品質の合成データ生成など、新しい機能を引き出すことができます。 このモデルは、品質の面でGPT-4-Turboと競合しています。
meta-llama-3.1-70B-instructのように、 このモデルのコンテキストは 128,000 トークンで、10 の言語がサポートされています。 これは、有用性と安全性に対する人間の好みと一致し、対話のユースケースに最適化されています。 Meta Llama 3.1モデルの詳細をご覧ください。
他の大規模言語モデルと同様に、Llama-3.1 の出力では、一部の事実が省略され、誤った情報が生成される場合があります。Databricks では、精度が特に重要なシナリオで取得拡張生成 (RAG) を使用することをお勧めします。
Meta Llama 3.1 8B インストラクション
Llama 3.1 コミュニティ ライセンスおよび利用規定ポリシーの適用に関しては 適用されるモデル開発者ライセンスおよび条件 」を参照してください。
Meta-Llama-3.1-8B-Instruct は、Meta によって構築およびトレーニングされた、コンテキスト 128,000 トークンの最先端の大規模言語モデルです。 このモデルは複数の言語をサポートし、対話のユースケースに最適化されています。Meta Llama 3.1の詳細については、こちらをご覧ください。
他の大規模言語モデルと同様に、Llama-3の出力では一部の事実が省略され、誤った情報が生成される場合があります。 Databricks では、精度が特に重要なシナリオで取得拡張生成 (RAG) を使用することをお勧めします。
Anthropic Claude 3.7 Sonnet
お客様は、 Anthropicの 利用規約の条件に従ってコンプライアンスを確保する責任があります。
Claude 3.7 Sonnetは、Anthropicによって構築および訓練された最先端のハイブリッド推論モデルです。これは、タスクの複雑さに基づいて推論を迅速に応答または拡張できる大規模言語モデルおよび推論モデルです。 拡張思考モードでは、Claude 3.7 Sonnetの推論ステップがユーザーに表示されます。Claude 3.7 Sonnetは、コード生成、数学的推論、命令追従などのさまざまなタスクに最適化されています。
他の大規模言語モデルと同様に、Claude 3.7 の出力では一部の事実が省略され、誤った情報が生成される場合があります。 Databricks では、精度が特に重要なシナリオで取得拡張生成 (RAG) を使用することをお勧めします。
このエンドポイントは、Databricks Inc. によって AWS の Databricks セキュリティ境界内でホストされます。
GTE Large (EN)
GTE Large (En) は、 Apache 2.0 ライセンス、Copyright (c) The Apache Software Foundation, All rights reserved.お客様は、該当するモデルライセンスでコンプライアンスを確保する責任があります。
General Text Embedding(GTE) は、任意のテキストを1024次元の埋め込みベクトルと8192トークンの埋め込みウィンドウにマップできるテキスト埋め込みモデルです。 これらのベクトルは、LLM のベクトル インデックスや、検索、分類、質問応答、クラスタリング、セマンティック検索などのタスクに使用できます。このエンドポイントは、モデルの英語版を提供し、正規化された埋め込みは生成しません。
埋め込みモデルは、取得拡張生成(RAG)のユースケースでLLMと組み合わせて使用すると特に効果的です。 GTE は、LLM のコンテキストで使用できる大きなドキュメント内の関連するテキストスニペットを見つけるために使用できます。
BGE Large (En)
BAAI General Embedding(BGE) は、任意のテキストを1024次元の埋め込みベクトルと512トークンの埋め込みウィンドウにマップできるテキスト埋め込みモデルです。 これらのベクトルは、LLM のベクトル インデックスや、検索、分類、質問応答、クラスタリング、セマンティック検索などのタスクに使用できます。このエンドポイントは、英語版のモデルを提供し、正規化された埋め込みを生成します。
埋め込みモデルは、取得拡張生成(RAG)のユースケースでLLMと組み合わせて使用すると特に効果的です。 BGEは、LLMのコンテキストで使用できるドキュメントの大きなチャンクで関連するテキストスニペットを見つけるために使用できます。
RAGアプリケーションでは、命令パラメーターを含めることで、取得システムのパフォーマンスを向上させることができる場合があります。 BGEの作成者は、クエリの埋め込みに命令 "Represent this sentence for searching relevant passages:" を試すことを推奨していますが、パフォーマンスへの影響はドメインによって異なります。