Mosaic AI ゲートウェイ

プレビュー

Mosaic AIDatabricksこの記事では、サポートされている生成AI モデルとそれに関連するモデルサービングエンドポイントへのアクセスを管理および監視するためのソリューションである Gateway について説明します。

Mosaic AI Gatewayとは?

Mosaic AI Gateway は、組織内の生成AI モデルの使用と管理を効率化するように設計されています。これは、ガバナンス、モニタリング、および本番運用の準備をモデルサービングエンドポイントにもたらす一元化されたサービスです。また、AI トラフィックを実行、保護、管理して、組織の AI 導入を民主化し、加速することもできます。

すべてのデータは、Unity Catalog の Delta テーブルに記録されます。

AIGatewayのデータから知見を可視化するには、 AIから Gatewayダッシュボードの例 GitHubをダウンロードしてください。このダッシュボードは、使用状況追跡およびペイロードログ推論テーブルのデータを活用します。

JSON ファイルをダウンロードしたら、ダッシュボードをワークスペースにインポートします。ダッシュボードのインポート方法については、「ダッシュボードファイルのインポート」をご覧ください。

AI Gateway は、次の機能をサポートしています。

アクセス権を持つユーザーとアクセス権の量を制御するためのアクセス許可とレート制限。
推論テーブル を使用してモデル に送信されるデータを監視および監査するためのペイロードロギングAPIs 。
システムテーブルを使用して、エンドポイントの運用使用状況と関連コストを監視する ための使用状況の追跡 。
AIガードレール は、リクエストとレスポンスの不要なデータや安全でないデータを防ぎます。
デプロイ中およびデプロイ後の本番運用の停止を最小限に抑えるためのトラフィックルーティング。

Mosaic AI Gateway は、有効な機能ごとに料金が発生します。プレビュー期間中、これらの有料機能には、AIガードレール、ペイロードロギング、使用状況追跡が含まれます。クエリのアクセス許可、レート制限、トラフィックルーティングなどの機能は無料です。新機能は有料です。

AIガードレール

AI Guardrails を使用すると、ユーザーはモデルサービングエンドポイントレベルでデータコンプライアンスを構成および適用し、基になるモデルに送信される要求の有害なコンテンツを減らすことができます。不正な要求と応答はブロックされ、デフォルトのメッセージがユーザーに返されます。モデルサービングエンドポイントでガードレールを設定する方法をご覧ください。

重要

AI ガードレールは、基盤モデル APIs トークン単位の従量課金をサポートするリージョンでのみ使用できます。

次の表は、設定可能なガードレールをまとめたものです。

ガードレール	定義
安全フィルタリング	セーフティフィルタリングは、モデルが暴力犯罪、自傷行為、ヘイトスピーチなどの安全でない有害なコンテンツとやり取りするのを防ぎます。 AI Gateway安全フィルターはMeta Llama 3で構築されています。Databricks は、安全フィルターとして Llama Guard 2-8b を使用します。 Llama Guard セーフティフィルタの詳細と、セーフティフィルタに適用されるトピックについては、 Meta Llama Guard 2 8B モデルカードを参照してください。 Meta Llama 3 は、LLAMA 3 コミュニティライセンス、著作権 © Meta Platforms, Inc. の下でライセンスされています。全著作権所有。お客様は、該当するモデルライセンスでコンプライアンスを確保する責任があります。
個人を特定できる情報 (PII) の検出	顧客は、ユーザーの名前、住所、クレジットカード番号などの機密情報を検出できます。この機能では、 AI Gateway は Presidio を使用して、クレジットカード番号、Eメールアドレス、電話番号、銀行アカウント番号、社会保障番号など、米国の PII カテゴリを検出します。 PII 分類子は、構造化データと非構造化データ内の機密情報または PII を識別するのに役立ちます。ただし、自動検出メカニズムを使用しているため、サービスがすべての機密情報を見つける保証はありません。したがって、追加のシステムと保護を採用する必要があります。これらの分類方法は、主に米国の電話番号や社会保障番号など、米国の PII カテゴリを対象としています。
トピックのモデレーション	許可されたトピックのセットを一覧表示する機能。チャットリクエストを指定すると、このガードレールは、そのトピックが許可されたトピックにない場合、リクエストにフラグを立てます。
キーワードフィルタリング	顧客は、入力と出力の両方に異なる無効なキーワードのセットを指定できます。キーワードフィルタリングの潜在的なユースケースの1つは、モデルが競合他社について語らないようにすることです。このガードレールは、キーワードまたは文字列の一致を使用して、キーワードがリクエストまたはレスポンスコンテンツに存在するかどうかを判断します。

AI Gatewayを使用する

モデルサービングエンドポイントの AI Gateway 機能は、サービング UI を使用して設定できます。モデルサービングエンドポイントでのAIゲートウェイの設定を参照してください。

制限事項

プレビュー期間中の制限事項は次のとおりです。

AI Gateway は、外部モデルを提供するモデルサービングエンドポイントでのみサポートされます。
ガードレールを使用する場合、リクエストのバッチサイズ (埋め込みバッチサイズ、完了バッチサイズ、またはチャットリクエストの n パラメーター) は 16 を超えることはできません。