Databricks 基盤モデルAPIがサポートするモデル
プレビュー
この機能は パブリック プレビュー 段階であり、 us-east1 と us-central1 の両方で、基盤モデル API トークン単位の従量課金エンドポイントとプロビジョニング済みスループット エンドポイントの両方でサポートされています。
この記事では、トークン単位の従量課金モードで Databricks 基盤モデル API でサポートされている最先端のオープンモデルについて説明します。
米国リージョンでのみサポートされているトークン単位の従量課金モデルについては、 基盤モデルAPIの制限 を参照してください。
これらのモデルにクエリ要求を送信するには、 Databricks ワークスペースで使用可能なトークン単位の従量課金エンドポイントを使用します。 使用するモデル・エンドポイントの名前については、 基盤モデルの使用 および トークン単位の従量課金サポート・モデル表 を参照してください。
基盤モデル API は、トークン単位の従量課金モードでモデルをサポートするだけでなく、プロビジョン済みスループット モードも提供します。 Databricks では、本番運用ワークロードのプロビジョン済みスループットを推奨しています。 このモードは、トークン単位の従量課金モードでサポートされているファインチューンされたカスタムの事前トレーニング済みモデルを含む、モデル アーキテクチャ ファミリ (DBRX モデルなど) のすべてのモデルをサポートします。 サポートされているアーキテクチャの一覧については、 プロビジョン済みスループット 基盤モデル API を参照してください。
これらのサポートされているモデルは、 AI Playgroundを使用して操作できます。
Meta Llama 3.3 70B Instruct
Meta-Llama-3.3-70B-Instructは、Metaによって構築およびトレーニングされた、コンテキスト128,000トークンの最先端の大規模言語モデルです。 このモデルは複数の言語をサポートし、対話のユースケースに最適化されています。 Meta Llama 3.3の詳細をご覧ください。
他の大規模言語モデルと同様に、Llama-3の出力では一部の事実が省略され、誤った情報が生成される場合があります。 Databricks では、精度が特に重要なシナリオで取得拡張生成 (RAG) を使用することをお勧めします。
Anthropic Claude 3.7 Sonnet
お客様は、 Anthropicの 利用規約の条件に従ってコンプライアンスを確保する責任があります。
Claude 3.7 Sonnetは、Anthropicによって構築および訓練された最先端のハイブリッド推論モデルです。これは、タスクの複雑さに基づいて推論を迅速に応答または拡張できる大規模言語モデルおよび推論モデルです。 拡張思考モードでは、Claude 3.7 Sonnetの推論ステップがユーザーに表示されます。Claude 3.7 Sonnetは、コード生成、数学的推論、命令追従などのさまざまなタスクに最適化されています。
他の大規模言語モデルと同様に、Claude 3.7 の出力では一部の事実が省略され、誤った情報が生成される場合があります。 Databricks では、精度が特に重要なシナリオで取得拡張生成 (RAG) を使用することをお勧めします。
このエンドポイントは、Databricks Inc. によって AWS の Databricks セキュリティ境界内でホストされます。
GTE Large (EN)
GTE Large (En) は、 Apache 2.0 ライセンス、Copyright (c) The Apache Software Foundation, All rights reserved.お客様は、該当するモデルライセンスでコンプライアンスを確保する責任があります。
General Text Embedding(GTE) は、任意のテキストを1024次元の埋め込みベクトルと8192トークンの埋め込みウィンドウにマップできるテキスト埋め込みモデルです。 これらのベクトルは、LLM のベクトル インデックスや、検索、分類、質問応答、クラスタリング、セマンティック検索などのタスクに使用できます。このエンドポイントは、モデルの英語版を提供し、正規化された埋め込みは生成しません。
埋め込みモデルは、取得拡張生成(RAG)のユースケースでLLMと組み合わせて使用すると特に効果的です。 GTE は、LLM のコンテキストで使用できる大きなドキュメント内の関連するテキストスニペットを見つけるために使用できます。