モデルサービングEndpointのガバナンス（レガシー）
新しいUnity AIゲートウェイのエクスペリエンスが一般提供開始されました。これは、LLM Endpointおよびコーディングエージェントを拡張機能で管理するためのエンタープライズコントロールプレーンです。「Unity AIゲートウェイによるAIガバナンス」を参照してください。
このページでは、サポートされているAIモデルとそれに関連するモデルサービング Endpointへのアクセスを管理および監視する、サービング Endpoint向けのAI Gateway（レガシー）について説明します。
サービング Endpointの AI Gateway (レガシー) とは
AI Gateway (レガシー) は、組織内の AI モデルおよびエージェントの使用と管理を合理化するように設計されています。モデルサービングエンドポイントにガバナンス、モニタリング、および本番運用の準備をもたらす一元化されたサービスです。また、AI トラフィックのラン、セキュリティ保護、ガバナンスを行って、組織における AI の導入を民主化し、加速させることができます。
すべてのデータはUnity Catalogの Delta テーブルに記録されます。
AI Gatewayのデータから知見を可視化するには、GitHubからAI Gatewayダッシュボードの例 をダウンロードしてください。このダッシュボードは、使用状況追跡およびペイロード ログ推論テーブルのデータを活用します。
JSON ファイルをダウンロードしたら、ダッシュボードをワークスペースにインポートします。ダッシュボードをインポートする手順については、 「ダッシュボード ファイルのインポート」を参照してください。
サポートされている機能
新しい Unity Gateway は、リッチな UI、向上した可観測性、および 外部モデル や トークン単位の従量課金基盤モデルAPI を含む、LLM 向けの拡張された API カバレッジを備えています。これらの新しい機能を利用するには、Unity Gateway を使用することをお勧めします。
次の表に、利用可能な AI Gateway（レガシー）機能と、それらをサポートするモデルサービングEndpointの種類を定義します。
機能 | 定義 | |||||
|---|---|---|---|---|---|---|
Unity Gatewayで利用可能 | 強化された Unity Gateway 機能を使用します。Unity Gateway による AI ガバナンスを参照してください。 | サポートされている | サポートされている | サポートされていない | サポートされていない | サポートされていない |
権限とレート制限 | 誰がどの程度アクセスできるかを制御します。 | サポートされている | サポートされている | サポートされている | サポートされていない | サポートされている |
ペイロードログ | 推論テーブル を使用して、モデルAPI に送信されるデータを監視および監査します。 | サポートされている | サポートされている | サポートされている | サポートされている | サポートされている |
使用状況の追跡 | システムテーブルを使用して、エンドポイントの運用使用状況と関連コストを監視します。 | サポートされている | サポートされている | サポートされている | サポートされていない | サポートされている |
AIガードレール | リクエストとレスポンス内の不要で安全でないデータを防止します。AIガードレールを参照してください。 | サポートされている | サポートされている | サポートされている | サポートされていない | サポートされていない |
フォールバック | 導入中および導入後の本番運用の停止を最小限に抑えます。 | サポートされている | サポートされていない | サポートされていない | サポートされていない | サポートされていない |
トラフィック分割 | モデル間でトラフィックを負荷分散します。 | サポートされている | サポートされていない | サポートされている | サポートされていない | サポートされている |
AI Gateway（レガシー）は、有効な機能に基づいて課金されます。有料機能には、推論テーブルや使用状況追跡が含まれます。クエリー権限、レート制限、fallback、トラフィック分割などの機能は無料です。新しい機能はすべて課金の対象となります。
AIガードレール
プレビュー
この機能は パブリック プレビュー段階です。
AIガードレールを使用すると、ユーザーはモデルサービング エンドポイント レベルでデータ コンプライアンスを構成および強制し、基礎となるモデルに送信されるリクエストの有害なコンテンツを削減できます。 不正なリクエストと応答はブロックされ、デフォルトのメッセージがユーザーに返されます。モデルサービング エンドポイントでガードレールを構成する方法を参照してください。
AI Guardrails モデレーション サービスは、基盤モデルAPIsによる単位の従量課金モデルに依存しています。 この依存関係により、 AI Guardrails モデレーション サービスの利用は、基盤モデルAPIsに対する単位の従量課金をサポートするリージョンに制限されます。 基盤モデルAPIsを使用するためにクロスジオイネーブルメントが必要なリージョンでは、 AIガードレールはサポートされていません。
次の表は、構成可能なガードレールをまとめたものです。制限事項を参照してください。
ガードレール | 定義 |
|---|---|
安全フィルタリング | セーフティフィルタリングでは、お使いのモデルが暴力犯罪、自傷行為、ヘイトスピーチなど、安全でない有害なコンテンツと接触するのを防ぎます。 AI Gateway の安全フィルターは Meta Llama 3 で構築されています。Databricks は安全フィルターとして Llama Guard 2-8b を使用します。Llama Guard 安全フィルターの詳細と、安全フィルターに適用されるトピックについては、 Meta Llama Guard 2 8B モデル カードを参照してください。 Meta Llama 3 は、 LLAMA 3 コミュニティ ライセンス、著作権© Meta Platforms, Inc. に基づいてライセンスされています。 無断転載を禁じます。顧客は、該当するモデル ライセンスによるコンプライアンスを確保する責任があります。 |
個人識別情報（PII）の検出 | 顧客はユーザーのクレジットカード番号などの機密情報を検出できます。 この機能では、 AI Gateway はPresidioを使用して、クレジット カード番号、電子メール アドレス、電話番号、銀行口座番号、社会保障番号といった米国の PII カテゴリを検出します。 PII 分類子は、構造化データと非構造化データ内の機密情報または PII を識別するのに役立ちます。ただし、自動検出メカニズムを使用しているため、サービスがすべての機密情報を検出するという保証はありません。したがって、追加のシステムと保護を採用する必要があります。 これらの分類方法は主に、米国の電話番号や社会保障番号など、米国の PII カテゴリを対象としています。 |
AI Gatewayの使用（レガシー）
Serving UI を使用して、モデルサービングエンドポイントで AI Gateway (レガシー) 機能を設定できます。モデルサービングエンドポイントでのガバナンスの構成（レガシー）を参照してください。
制限事項
AI Gateway（レガシー）が有効なEndpointの制限事項は次のとおりです。
- AIガードレールを使用する場合、リクエスト バッチ サイズ、つまり埋め込みバッチ サイズ、完了バッチ サイズ、またはチャット リクエストの
n問題は 16 を超えることはできません。 - 関数呼び出しを使用し、AI ガードレールを指定した場合、それらのガードレールは関数の要求と中間応答には適用されません。ただし、最終的な出力応答にはガードレールが適用されます。
- テキストから画像へのワークロードはサポートされていません。
- AI Gateway（レガシー）機能が有効になっているトークン単位の従量課金Endpoint上のバッチ推論ワークロードでは、使用状況追跡のみがサポートされます。
endpoint_usageシステムテーブルでは、バッチ推論リクエストに対応する行のみが表示されます。 - AIガードレールとフォールバックは、カスタム モデルサービング エンドポイントではサポートされていません。
- カスタム モデルサービング エンドポイントの場合、ルート最適化されていないワークロードのみがレート制限と使用状況の追跡をサポートします。
- ルート最適化モデルサービング エンドポイントの推論テーブルはパブリック プレビュー段階にあります。
- 推論テーブルの制限の詳細については、AI Gateway（レガシー）で有効にした推論テーブルの制限を参照してください。