エンドポイントへのサービス提供のためのUnity AI Gateway
新しいUnity AI Gatewayベータ版をお試しください
新しいUnity AI Gatewayエクスペリエンスがベータ版で利用可能です。新しいUnity AI Gatewayは、LLMエンドポイントとコーディングエージェントを管理するためのエンタープライズ向け制御プレーンであり、機能強化が施されています。LLMエンドポイントについては、Unity AI Gatewayを参照してください。
このページでは、サポートされている生成AIモデルとそれに関連するモデルサービング エンドポイントへのアクセスを管理および監視する、エンドポイントを提供するための Unity AI Gateway について説明します。
Unity AI Gatewayはエンドポイントへのサービス提供においてどのような役割を果たしますか？
Unity AI Gatewayは、組織内におけるAIモデルおよびエージェントの利用と管理を効率化するように設計されています。 これは、モデルサービング エンドポイントにガバナンス、モニタリング、本番運用の準備をもたらす一元化されたサービスです。 また、AIトラフィックの実行、セキュリティ確保、ガバナンスを可能にし、組織におけるAI導入の民主化と加速化を実現します。
すべてのデータはUnity Catalogの Delta テーブルに記録されます。
Unity AI Gateway のデータから視覚化を開始するには、 GitHubからサンプル Unity AI Gateway ダッシュボードをダウンロードしてください。 このダッシュボードは、使用状況追跡データとペイロードログ推論テーブルのデータを活用しています。
JSON ファイルをダウンロードしたら、ダッシュボードをワークスペースにインポートします。ダッシュボードをインポートする手順については、 「ダッシュボード ファイルのインポート」を参照してください。
サポートされている機能
Unity AIゲートウェイ
新しいUnity AI Gateway は、豊富な UI、可観測性の向上、および外部モデルや勝手単位の従量課金基盤モデルAPIsを含む LLM のAPIカバレッジの拡大を特徴としています。 これらの新機能を利用するには、Unity AI Gateway の使用をお勧めします。
以下の表は、利用可能なUnity AI Gatewayの機能と、それらをサポートするモデルサービングエンドポイントの種類を示しています。
機能 | 定義 | |||||
|---|---|---|---|---|---|---|
Unity AI Gatewayで利用可能 | Unity AI Gatewayの強化された機能を活用してください。LLMエンドポイントについては、Unity AI Gatewayを参照してください。 | サポートされている | サポートされている | サポートされていない | サポートされていない | サポートされていない |
権限とレート制限 | 誰がどの程度アクセスできるかを制御します。 | サポートされている | サポートされている | サポートされている | サポートされていない | サポートされている |
ペイロードログ | 推論テーブル を使用して、モデルAPI に送信されるデータを監視および監査します。 | サポートされている | サポートされている | サポートされている | サポートされている | サポートされている |
使用状況の追跡 | システムテーブルを使用して、エンドポイントの運用使用状況と関連コストを監視します。 | サポートされている | サポートされている | サポートされている | サポートされていない | サポートされている |
AIガードレール | リクエストとレスポンス内の不要で安全でないデータを防止します。AIガードレールを参照してください。 | サポートされている | サポートされている | サポートされている | サポートされていない | サポートされていない |
フォールバック | 導入中および導入後の本番運用の停止を最小限に抑えます。 | サポートされている | サポートされていない | サポートされていない | サポートされていない | サポートされていない |
トラフィック分割 | モデル間でトラフィックを負荷分散します。 | サポートされている | サポートされていない | サポートされている | サポートされていない | サポートされている |
Unity AI Gatewayは、有効化された機能に応じて料金が発生します。有料機能には、ペイロードのログ記録と使用状況の追跡が含まれます。クエリ権限、レート制限、フォールバック、トラフィック分割などの機能は無料で利用できます。新機能はすべて有料となります。
AIガードレール
プレビュー
この機能は パブリック プレビュー段階です。
AIガードレールを使用すると、ユーザーはモデルサービング エンドポイント レベルでデータ コンプライアンスを構成および強制し、基礎となるモデルに送信されるリクエストの有害なコンテンツを削減できます。 不正なリクエストと応答はブロックされ、デフォルトのメッセージがユーザーに返されます。モデルサービング エンドポイントでガードレールを構成する方法を参照してください。
AI Guardrails モデレーション サービスは、基盤モデルAPIsによる単位の従量課金モデルに依存しています。 この依存関係により、 AI Guardrails モデレーション サービスの利用は、基盤モデルAPIsに対する単位の従量課金をサポートするリージョンに制限されます。 基盤モデルAPIsを使用するためにクロスジオイネーブルメントが必要なリージョンでは、 AIガードレールはサポートされていません。
次の表は、構成可能なガードレールをまとめたものです。制限事項を参照してください。
ガードレール | 定義 |
|---|---|
安全フィルタリング | セーフティフィルタリングでは、お使いのモデルが暴力犯罪、自傷行為、ヘイトスピーチなど、安全でない有害なコンテンツと接触するのを防ぎます。 Unity AI Gatewayの安全フィルターはMeta Llama 3で構築されています。Databricksは安全フィルターとしてLlama Guard 2-8bを使用しています。Llama Guard安全フィルターの詳細および安全フィルターに適用されるトピックについては、 Meta Llama Guard 2 8Bモデルカードを参照してください。 Meta Llama 3 は、 LLAMA 3 コミュニティ ライセンス、著作権© Meta Platforms, Inc. に基づいてライセンスされています。 無断転載を禁じます。顧客は、該当するモデル ライセンスによるコンプライアンスを確保する責任があります。 |
個人識別情報（PII）の検出 | 顧客はユーザーのクレジットカード番号などの機密情報を検出できます。 この機能では、Unity AI Gateway はPresidio を使用して、クレジット カード番号、電子メール アドレス、電話番号、銀行口座番号、社会保障番号といった米国の PII カテゴリを検出します。 PII 分類子は、構造化データと非構造化データ内の機密情報または PII を識別するのに役立ちます。ただし、自動検出メカニズムを使用しているため、サービスがすべての機密情報を検出するという保証はありません。したがって、追加のシステムと保護を採用する必要があります。 これらの分類方法は主に、米国の電話番号や社会保障番号など、米国の PII カテゴリを対象としています。 |
Unity AI Gatewayを使用する
Serving UI を使用して、モデルサービング エンドポイントで Unity AI Gateway 機能を構成できます。 「モデルサービング エンドポイントで Unity AI Gateway を構成する」を参照してください。
制限事項
Unity AI Gateway対応エンドポイントには、以下の制限事項があります。
- AIガードレールを使用する場合、リクエスト バッチ サイズ、つまり埋め込みバッチ サイズ、完了バッチ サイズ、またはチャット リクエストの
n問題は 16 を超えることはできません。 - 関数呼び出しを使用し、AI ガードレールを指定した場合、それらのガードレールは関数の要求と中間応答には適用されません。ただし、最終的な出力応答にはガードレールが適用されます。
- テキストから画像へのワークロードはサポートされていません。
- Unity AI Gateway 機能が有効になっている、単位の従量課金エンドポイント上のバッチ推論ワークロードでは、使用状況追跡のみがサポートされます。
endpoint_usageシステムテーブルでは、バッチ推論要求に対応する行のみが表示されます。 - AIガードレールとフォールバックは、カスタム モデルサービング エンドポイントではサポートされていません。
- カスタム モデルサービング エンドポイントの場合、ルート最適化されていないワークロードのみがレート制限と使用状況の追跡をサポートします。
- ルート最適化モデルサービング エンドポイントの推論テーブルはパブリック プレビュー段階にあります。
- 推論テーブルの制限事項の詳細については、 「Unity AI Gateway が有効になっている推論テーブルの制限事項」を参照してください。