基盤モデルの REST API リファレンス
この記事では、Databricks基盤モデルAPIとそれらがサポートするモデルの一般的なAPIの情報を提供します。基盤モデル API は、既存のプロジェクトの移行を容易にするために、OpenAIの REST API と同様に設計されています。 トークン単位の従量課金エンドポイントとプロビジョニング スループット エンドポイントはどちらも、同じ REST API リクエスト形式を受け入れます。
エンドポイント
API は、トークン単位の従量課金エンドポイントとプロビジョニング スループット エンドポイントをサポートします。
事前構成されたエンドポイントは、トークン単位の従量課金サポートモデルごとにワークスペースで使用でき、ユーザーは HTTP POST 要求を使用してこれらのエンドポイントと対話できます。 サポートされているモデルについては、Mosaic AI Model Servingでサポートされている基盤モデルを参照してください。
プロビジョニングされたスループットエンドポイントは、API または Serving UI を使用して作成できます。 これらのエンドポイントは、提供される両方のモデルが同じ API 形式を公開している限り、A/B テストのエンドポイントごとに複数のモデルをサポートします。 例えば、どちらのモデルもチャットモデルです。 エンドポイント構成パラメーターに関しては、POST /api/2.0/serving-endpoints を参照してください。
リクエストとレスポンスはJSONを使用し、正確なJSON構造はエンドポイントのタスクタイプによって異なります。チャットと完了エンドポイントは、ストリーミング応答をサポートします。
使い方
応答には、要求と応答のトークンの数を報告する usage サブメッセージが含まれます。 このサブメッセージの形式は、すべてのタスクタイプで同じです。
フィールド | タイプ | 説明 |
|---|---|---|
| 整数タイプ | 生成されたトークンの数。 埋め込み応答には含まれません。 |
| 整数タイプ | 入力プロンプトからのトークンの数。 |
| 整数タイプ | トークンの合計数。 |
| 整数タイプ | 思考トークンの数。推論モデルにのみ適用できます。 |
databricks-meta-llama-3-3-70b-instruct のようなモデルの場合、ユーザー プロンプトは、モデルに渡される前にプロンプト テンプレートを使用して変換されます。トークン単位の従量課金エンドポイントの場合、システム・プロンプトも追加される場合があります。 prompt_tokens には、サーバーによって追加されたすべてのテキストが含まれます。
レスポンスAPI
Responses API は OpenAI モデルとのみ互換性があります。
Responses API を使用すると、モデルとの複数ターンの会話が可能になります。Chat Completions とは異なり、Responses API はmessagesではなくinput使用します。
レスポンスAPIリクエスト
フィールド | デフォルト | タイプ | 説明 |
|---|---|---|---|
| 文字列 | 必須 。応答を生成するために使用されるモデル ID。 | |
| 文字列またはリスト[ ResponsesInput ] | 必須 。応答を生成するために使用される、モデルへのテキスト、画像、またはファイル入力。 | |
|
| 文字列 | モデルのコンテキストに挿入されるシステム (または開発者) メッセージ。 |
|
|
| 表示可能な出力トークンや推論トークンなど、応答に対して生成できるトークンの数の上限。 |
|
| [0,2]の浮動小数点数 | サンプリングtemperature。0は決定性で、値が大きくなるほどランダム性が高くなります。 |
|
| (0,1]のFloat | 主要部サンプリングに使用される確率のしきい値。 |
|
| ブール値 | true に設定すると、モデル応答データはサーバー送信イベントを使用して生成され、クライアントにストリームされます。 |
|
| ストリーミング応答のオプション。 | |
|
| モデルからのテキスト応答の構成オプション。プレーンテキストまたは構造化された JSON データにすることができます。 | |
|
| gpt-5 および o シリーズ モデルの推論構成。 | |
|
| 文字列または ToolChoiceObject | モデルが応答を生成するときに使用するツール (複数可) を選択する方法。モデルが呼び出すことができるツールを指定する方法については、 |
|
| リスト[ツールオブジェクト] | モデルが応答を生成するときに呼び出す可能性のあるツールの配列。 注 : コード インタープリターと Web 検索ツールは Databricks ではサポートされていません。 |
|
| ブール値 | モデルがツール呼び出しを並列に実行できるようにするかどうか。 |
|
| 0 より大きい整数 | 応答で処理できる組み込みツールへの呼び出しの合計最大数。 |
|
| オブジェクト | オブジェクトに添付できる 16 個のキーと値のペアのセット。 |
|
| 文字列 | キャッシュヒット率を最適化するために、同様のリクエストの応答をキャッシュするために使用されます。 |
|
| 文字列 | プロンプト キャッシュの保持ポリシー。拡張プロンプト キャッシュを有効にするには、 |
|
| 文字列 | 使用ポリシーに違反している可能性のあるアプリケーションのユーザーを検出するために使用される安定した識別子。 |
|
| 文字列 | 非推奨です 。代わりに |
|
| 文字列 | モデル応答に使用する切り捨て戦略。 |
|
| 整数タイプ | 各ウイルス位置で返される可能性が最も高いウイルスの数を指定する 0 ~ 20 の整数。それぞれにログ確率が関連付けられています。 |
|
| リスト[文字列] | モデル応答に含める追加の出力データを指定します。 |
|
| オブジェクト | プロンプト テンプレートとその変数への参照。 |
サポートされていない問題 : 次の項目はDatabricksでサポートされていないため、指定すると 400 エラーが返されます。
background- バックグラウンド処理はサポートされていませんstore- 保存された応答はサポートされていませんconversation- 会話APIはサポートされていませんservice_tier- サービス層の選定はDatabricksによって管理されます
ResponsesInput
inputフィールドは、役割とコンテンツを持つ文字列または入力メッセージ オブジェクトのリストを受け入れます。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須 。メッセージ作成者の役割。 |
| 文字列またはリスト[ ResponsesContentBlock ] | 必須 。メッセージの内容。文字列またはコンテンツ ブロックの配列として表されます。 |
ResponsesContentBlock
コンテンツ ブロックは、入力メッセージと出力メッセージのコンテンツの種類を定義します。コンテンツ ブロックのタイプはtypeフィールドによって決まります。
InputText
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 |
| 文字列 | 必須 。テキストの内容。 |
OutputText
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 |
| 文字列 | 必須 。テキストの内容。 |
| リスト[オブジェクト] | テキスト コンテンツのオプションの注釈。 |
InputImage
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 |
| 文字列 | 必須 。画像の URL または base64 でエンコードされたデータ URI。 |
InputFile
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 |
| 文字列 | アップロードされたファイルを使用する場合のファイル識別子。 |
| 文字列 | ファイルの名前。 |
| 文字列 | フォーマットプレフィックス付きの Base64 エンコードされたデータ URI。たとえば、PDF ファイルでは形式 |
FunctionCall
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 |
| 文字列 | 必須 。関数呼び出しの一意の識別子。 |
| 文字列 | 必須 。通話識別子。 |
| 文字列 | 必須 。呼び出される関数の名前。 |
| オブジェクト/文字列 | 必須 。JSON オブジェクトまたは文字列としての関数の引数。 |
FunctionCallOutput
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 |
| 文字列 | 必須 。この出力に対応する呼び出し識別子。 |
| 文字列/オブジェクト | 必須 。関数は文字列または JSON オブジェクトとして出力します。 |
StreamOptions
ストリーミング応答の構成。stream: trueの場合にのみ使用されます。
フィールド | タイプ | 説明 |
|---|---|---|
| ブール値 | true の場合、ストリームにトークンの使用情報を含めます。デフォルトは |
TextConfig
構造化出力を含むテキスト出力の構成。
フィールド | タイプ | 説明 |
|---|---|---|
| テキスト出力の形式指定。 |
ResponsesFormatObject
テキスト応答の出力形式を指定します。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須 。形式のタイプ: プレーンテキストの場合は |
| オブジェクト |
|
json_schemaオブジェクトは、Chat Completions API に記載されているJsonSchemaObjectと同じ構造を持ちます。
ReasoningConfig
推論モデル (o シリーズおよび gpt-5 モデル) での推論動作の構成。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 推論努力レベル: |
| 文字列 | ステートレス モードの暗号化された推論コンテンツ。以前の回答のモデルによって提供されました。 |
ToolObject
「Databricks での関数呼び出し」を参照してください。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 ツールの種類。 現在、 |
| 必須です 。 ツールに関連付けられている関数定義。 |
FunctionObject
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 呼び出される関数の名前。 |
| オブジェクト | 必須です 。 関数の詳細な説明。 モデルは、この説明を使用して、プロンプトに対する関数の関連性を理解し、より高い精度でツール呼び出しを生成します。 |
| オブジェクト | 関数が受け入れるパラメーター (有効な JSON スキーマ オブジェクトとして記述されます)。 ツールが呼び出された場合、ツール呼び出しは指定された JSON スキーマに適合します。 パラメーターを省略すると、パラメーターのない関数が定義されます。 |
| ブール値 | 関数呼び出しの生成時に厳密なスキーマ準拠を有効にするかどうか。 |
ToolChoiceObject
「Databricks での関数呼び出し」を参照してください。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 ツールの種類。 現在、 |
| オブジェクト | 必須です 。 フォーム |
レスポンスAPIレスポンス
ストリーミング以外のリクエストの場合、レスポンスは単一のレスポンス オブジェクトになります。ストリーミング リクエストの場合、応答はtext/event-streamであり、各イベントは応答チャンクになります。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 応答の一意の識別子。 注 : Databricks はセキュリティのためにこの ID を暗号化します。 |
| 文字列 | オブジェクトの種類。 |
| 整数タイプ | 応答が作成された際の Unix タイムスタンプ (秒単位)。 |
| 文字列 | 応答のステータス。次のいずれかです: |
| 文字列 | 応答の生成に使用されたモデルのバージョン。 |
| リスト[応答メッセージ] | モデルによって生成された出力。通常はメッセージ オブジェクトが含まれます。 |
| トークン使用状況メタデータ。 | |
| 応答が失敗した場合のエラー情報。 | |
| 該当する場合、応答が不完全である理由の詳細。 | |
| 文字列 | リクエストで提供される指示。 |
| 整数タイプ | リクエストで指定された最大出力トークン。 |
| Float | 生成に使用される温度。 |
| Float | 生成に使用される top_p 値。 |
| リスト[ツールオブジェクト] | リクエストで指定されたツール。 |
| 文字列または ToolChoiceObject | リクエストからの tool_choice 設定。 |
| ブール値 | 並列ツール呼び出しが有効になっているかどうか。 |
| ブール値 | 応答が保存されたかどうか。 |
| オブジェクト | 応答に添付されたメタデータ。 |
ResponsesMessage
モデルの応答コンテンツを含むoutputフィールド内のメッセージ オブジェクト。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須 。メッセージの一意の識別子。 |
| 文字列 | 必須 。メッセージの役割。 |
| リスト[ ResponsesContentBlock ] | 必須 。メッセージ内のコンテンツ ブロック。 |
| 文字列 | メッセージ処理のステータス。 |
| 文字列 | 必須 。オブジェクトの種類。 |
Error
応答が失敗した場合のエラー情報。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須 。エラーコード。 |
| 文字列 | 必須 。人間が読めるエラー メッセージ。 |
| 文字列 | エラーの原因となった問題 (該当する場合)。 |
| 文字列 | 必須 。エラーの種類。 |
IncompleteDetails
応答が不完全である理由の詳細。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須 。応答が不完全である理由。 |
チャット完了API
Chat Completions API を使用すると、モデルとの複数ターンの会話が可能になります。モデル応答は、会話内の次のassistantメッセージを提供します。エンドポイントのクエリについては、 POST /serving-endpoints/{name}/invocations を参照してください。
チャットリクエスト
フィールド | デフォルト | タイプ | 説明 |
|---|---|---|---|
| ChatMessage 一覧 | 必須です 。 現在の会話を表すメッセージの一覧。 | |
|
|
| 生成するトークンの最大数。 |
|
| ブール値 | 要求の部分的な結果を許可するために、応答をクライアントにストリームします。 このパラメーターが要求に含まれている場合、応答は Server-sent events 標準を使用して送信されます。 |
|
| [0,2]の浮動小数点数 | サンプリングtemperature。0は決定性で、値が大きくなるほどランダム性が高くなります。 |
|
| (0,1]のFloat | 主要部サンプリングに使用される確率のしきい値。 |
|
|
| top-kフィルタリングに使用する可能性が最も高いkトークンの数を定義します。出力を決定的にするには、この値を1に設定します。 |
| [] | 文字列 または List[文字列] | モデルは、 |
| 1 | 0 より大きい整数 |
|
|
| 文字列または ToolChoiceObject |
|
|
| モデルが呼び出すことができる | |
|
| モデルが出力する必要がある形式を指定するオブジェクト。 使用できるタイプは、 | |
|
| ブール値 | このパラメーターは、トークンがサンプリングされるログ確率を提供するかどうかを示します。 |
|
| 整数タイプ | このパラメーターは、各サンプリング ステップで対数確率を返す可能性が最も高いトークン候補の数を制御します。 0 から 20 まで指定できます。 このフィールドを使用する場合は、 |
|
| 文字列 | 応答を生成するときにモデルが適用する推論作業のレベルを制御します。受け入れられる値は、 |
ChatMessage
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 メッセージの作成者の役割。 |
| 文字列またはリスト [ContentItem] | ツール呼び出しを伴わないチャットタスクに 必要です 。コンテンツは、文字列または単一のチャットインタラクション内の一連のマルチモーダル要素を含む配列のいずれかです。これらの要素は、モデルによって入力または出力として処理される順序に従います。この配列入力は、外部モデルプロバイダーを通じてのみアクセス可能な独自のモデルで使用するために特別に設計されています。現在、Claude モデルのみがサポートされています。他の外部モデルプロバイダー、オープンソースモデル(Llama)、または Databricksで顧客によってホストされているモデルには、文字列型のコンテンツを使用します。 |
| ToolCall リスト | モデルによって生成された |
| 文字列 |
|
system ロールは、会話の最初のメッセージとして 1 回だけ使用できます。これは、モデルのデフォルト システム プロンプトをオーバーライドします。
ContentItem
ContentItem は、 TextContent、 ReasoningContent、 DocumentContent、または ImageContent
TextContent
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。テキストである必要があります。 |
| 文字列 | 必須 のテキスト コンテンツ。 |
| List[Citation] | オプションの引用情報。次の表を参照してください。 |
| 文字列 | リクエストのキャッシュを有効にします。このパラメーターは、Databricks がホストする Claude モデルでのみ受け入れられます。例については、プロンプトのキャッシュを参照してください。 |
引用フィールドは次のとおりです。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 |
| 文字列 | ドキュメントから引用されたテキスト。 |
| 整数タイプ | 引用されたドキュメントのインデックス。 |
| 文字列 | 引用されたドキュメントのタイトル。 |
| 整数タイプ | ドキュメント内の引用テキストの開始インデックス。 |
| 整数タイプ | ドキュメント内の引用テキストの終了インデックス。 |
ImageContent
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 |
| ImageURL | OpenAI image_url オブジェクトに相当します。 |
| 文字列 | リクエストのキャッシュを有効にします。このパラメーターは、Databricks がホストする Claude モデルでのみ受け入れられます。画像メッセージ コンテンツは、エンコードされたデータをソースとして使用する必要があります。URLは現在サポートされていません。例については、プロンプトのキャッシュを参照してください。 |
ImageURL フィールドは次のとおりです。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | Base64 でエンコードされた画像データ。サポートされている画像ファイル形式 (JPEG、PNG、GIF、WebP など) から生成された有効な base64 文字列である必要があります。 |
| 文字列 | 画像の詳細レベルを指定します。 |
ReasoningContent
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 |
| List[Summary] | 推論テキストの内容。サマリーは、 |
| 文字列 | リクエストのキャッシュを有効にします。このパラメーターは、Databricks がホストする Claude モデルでのみ受け入れられます。例については、プロンプトのキャッシュを参照してください。 |
TextSummary
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 |
| 文字列 | 応答を生成するときにモデルによって使用される推論の簡単な要約。 |
| 文字列 | データの信頼性を検証するためのオプションの暗号化トークン。 |
EncryptedTextSummary
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 |
| 文字列 | 安全上の理由から人間が読めない暗号化されたテキストコンテンツ。 |
DocumentContent
DocumentContent はリクエスト専用です。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 |
| 文字列 | ドキュメントのタイトル。 |
| 文字列 | ドキュメントの説明。 |
| ソース | 必須です 。形式や内容など、ドキュメントに関する詳細情報を指定します。 |
| Map[string, bool] | ドキュメントの引用を有効にするかどうかを示すブールにマップする単一のフィールドが "enabled" のマップ。 |
Source
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 |
| 文字列 | PDFおよびテキストタイプに 必要です 。 - PDFの場合は |
| 文字列 | PDFとテキストに 必要です 。ドキュメントソースを含むデータ。 |
| 文字列 or List[TextContent] または List[ImageContent] |
|
| 文字列 | URLPDFSource タイプに 必要です 。PDF ドキュメントの URL。 |
FileContent
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須 です。ファイルである必要があります。 |
| ファイル | 必須 ファイルの内容。 |
ファイルフィールドは以下のとおりです。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | ファイルの名前。 |
| 文字列 | 必須 OpenAI互換のbase64でエンコードされたファイルデータ。これは、base64でエンコードされたデータが続くファイル形式から始まります。たとえば、PDF ファイルの形式は |
ToolCall
モデルによるツールコールアクションの提案。 「Databricks での関数呼び出し」を参照してください。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 このツール・コールの提案の一意の識別子。 |
| 文字列 | 必須です 。 |
| 必須です 。 モデルによって提案された関数呼び出し。 | |
| 文字列 | リクエストのキャッシュを有効にします。このパラメーターは、Databricks がホストする Claude モデルでのみ受け入れられます。例については、プロンプトのキャッシュを参照してください。 |
FunctionCallCompletion
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須。 モデルが推奨する関数の名前。 |
| オブジェクト | 必須。 シリアル化された JSON ディクショナリとしての関数の引数。 |
注 : ToolChoiceObject 、 ToolObject 、およびFunctionObject 、レスポンスAPIセクションで定義されており、両方のAPIs間で共有されます。
ResponseFormatObject
「Databricks の構造化出力」を参照してください。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 定義するレスポンス・フォーマットのタイプ。 非構造化テキストの場合は |
| 必須です 。 |
JsonSchemaObject
「Databricks の構造化出力」を参照してください。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 必須です 。 応答形式の名前。 |
| 文字列 | 応答形式での応答方法を決定するためにモデルによって使用される、応答形式の目的の説明。 |
| オブジェクト | 必須です 。 レスポンス形式のスキーマ (JSON スキーマオブジェクトとして記述)。 |
| ブール値 | 出力の生成時に厳密なスキーマ準拠を有効にするかどうか。 |
チャット応答
非ストリーミング要求の場合、応答は 1 つのチャット完了オブジェクトです。 ストリーミング要求の場合、応答は text/event-stream であり、各イベントは完了チャンク オブジェクトです。 完了オブジェクトとチャンク オブジェクトの最上位構造はほとんど同じで、 choices つだけ型が異なります。
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | チャット完了の一意の識別子。 |
| List[ChatCompletionChoice] または List[ChatCompletionChunk] (ストリーミング) | チャット完了テキストのリスト。 |
| 文字列 | オブジェクトの種類。 非ストリーミングの場合は |
| 整数タイプ | チャットの完了が生成された時間 (秒単位)。 |
| 文字列 | 応答の生成に使用されたモデルのバージョン。 |
| トークン使用状況メタデータ。 ストリーミング応答には存在しない可能性があります。 |
ChatCompletionChoice
フィールド | タイプ | 説明 |
|---|---|---|
| 整数タイプ | 生成された選択肢のリスト内の選択肢のインデックス。 |
| モデルによって返されたチャット完了メッセージ。 役割は | |
| 文字列 | モデルがトークンの生成を停止した理由。 |
| 文字列 | 外部モデル プロバイダーの独自のモデルを使用する場合、プロバイダーの APIの 応答に追加のメタデータが含まれる場合があります。 Databricks はこれらの応答をフィルター処理し、プロバイダーの元のフィールドのサブセットのみを返します。 |
ChatCompletionChunk
フィールド | タイプ | 説明 |
|---|---|---|
| 整数タイプ | 生成された選択肢のリスト内の選択肢のインデックス。 |
| モデルから生成されたストリーム応答のチャット完了メッセージの一部。 最初のチャンクのみが | |
| 文字列 | モデルがトークンの生成を停止した理由。 最後のチャンクにのみこれが入力されます。 |
埋め込みAPI
埋め込みタスクは、入力文字列を埋め込みベクトルにマップします。 各要求で多くの入力をまとめてバッチ処理できます。 エンドポイント パラメーターのクエリについては、 POST /serving-endpoints/{name}/invocations を参照してください。
埋め込みリクエスト
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 または List[文字列] | 必須です 。 埋め込む入力テキスト。 文字列または文字列のリストを指定できます。 |
| 文字列 | 埋め込みモデルに渡す省略可能な命令。 |
手順はオプションであり、モデルによって異なります。たとえば、BGE の作成者は、チャンクのインデックス作成時には命令を使用しないことを推奨し、検索クエリには命令"Represent this sentence for searching relevant passages:"を使用することを推奨しています。Instructor-XL などの他のモデルは、幅広い命令文字列をサポートしています。
埋め込み応答
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | 埋め込みの一意の識別子。 |
| 文字列 | オブジェクトの種類。 |
| 文字列 | 埋め込みの作成に使用された埋め込みモデルの名前。 |
| 埋め込みオブジェクト。 | |
| トークン使用状況メタデータ。 |
EmbeddingObject
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | オブジェクトの種類。 |
| 整数タイプ | モデルによって生成された埋め込みの一覧にある埋め込みのインデックス。 |
| List[Float] | 埋め込みベクトル。 各モデルは固定サイズのベクトル (BGE-Large の場合は 1024) を返します |
完了API
テキスト補完タスクは、1 つのプロンプトに対する応答を生成するためのタスクです。 Chatとは異なり、このタスクはバッチ入力をサポートしており、1つのリクエストで複数の独立したプロンプトを送信できます。 エンドポイント パラメーターのクエリについては、 POST /serving-endpoints/{name}/invocations を参照してください。
完了リクエスト
フィールド | デフォルト | タイプ | 説明 |
|---|---|---|---|
| 文字列 または List[文字列] | 必須です 。 モデルのプロンプト。 | |
|
|
| 生成するトークンの最大数。 |
|
| ブール値 | 要求の部分的な結果を許可するために、応答をクライアントにストリームします。 このパラメーターが要求に含まれている場合、応答は Server-sent events 標準を使用して送信されます。 |
|
| [0,2]の浮動小数点数 | サンプリングtemperature。0は決定性で、値が大きくなるほどランダム性が高くなります。 |
|
| (0,1]のFloat | 主要部サンプリングに使用される確率のしきい値。 |
|
|
| top-kフィルタリングに使用する可能性が最も高いkトークンの数を定義します。出力を決定的にするには、この値を1に設定します。 |
|
|
| タイムアウトおよびコンテキスト長超過エラーの場合。 |
| 1 | 0 より大きい整数 |
|
| [] | 文字列 または List[文字列] | モデルは、 |
|
| 文字列 | すべての入力候補の末尾に追加される文字列。 |
|
| ブール値 | プロンプトと完了を返します。 |
|
| ブール値 |
|
完了レスポンス
フィールド | タイプ | 説明 |
|---|---|---|
| 文字列 | テキスト補完の一意の識別子。 |
| テキスト入力候補のリスト。 渡されたプロンプトごとに、 | |
| 文字列 | オブジェクトの種類。 等しい |
| 整数タイプ | 完了が生成された時間 (秒単位)。 |
| トークン使用状況メタデータ。 |
CompletionChoice
フィールド | タイプ | 説明 |
|---|---|---|
| 整数タイプ | 要求のプロンプトのインデックス。 |
| 文字列 | 生成された入力候補。 |
| 文字列 | モデルがトークンの生成を停止した理由。 |