モデルサービングエンドポイントでの AI Gateway の構成

注記

この機能はプレビュー段階です。

この記事では、モデルサービングエンドポイントで Mosaic AI Gateway を設定する方法について説明します。

必要条件

次のいずれかのリージョンにある Databricks ワークスペース。
- 外部モデルがサポートする地域
- 基盤モデルは API プロビジョニングスループットまたはトークン単位の従量課金でサポートされているリージョンです。
A モデルサービングエンドポイント. ワークスペースで事前設定されたトークン単位の従量課金エンドポイントのいずれかを使用できます。

エンドポイント作成ページの AI Gateway セクションでは、AI Gateway の機能を個別に構成できます。

次の表は、エンドポイントの作成時に Serving UI を使用して AI Gateway を構成する方法をまとめたものです。

次の表は、サポートされているガードレールを構成する方法を示しています。

ガードレール	有効にする方法	詳細
安全性	[ 安全性 ] を選択すると、モデルが安全でない有害なコンテンツと相互作用するのを防ぐための保護機能が有効になります。
個人を特定できる情報 (PII) の検出	名前、住所、クレジットカード番号などのPIIデータを検出するには、[ PII検出 ]を選択します。
有効なトピック	このフィールドにトピックを直接入力できます。複数のエントリがある場合は、各トピックの後に必ず Enter キーを押してください。または、 `.csv` ファイルまたは `.txt` ファイルをアップロードすることもできます。	最大 50 個の有効なトピックを指定できます。各トピックは 100 文字を超えることはできません
無効なキーワード	このフィールドにトピックを直接入力できます。複数のエントリがある場合は、各トピックの後に必ず Enter キーを押してください。または、 `.csv` ファイルまたは `.txt` ファイルをアップロードすることもできます。	無効なキーワードは最大 50 個まで指定できます。各キーワードは 100 文字を超えることはできません。