Mosaic AI ゲートウェイ

プレビュー

この機能はパブリックプレビュー段階です。

Mosaic AIDatabricksこの記事では、サポートされている生成AI モデルとそれに関連するモデルサービング エンドポイントへのアクセスを管理および監視するための ソリューションである Gateway について説明します。

Mosaic AI Gatewayとは?

Mosaic AI Gateway は、組織内の生成AI モデルの使用と管理を効率化するように設計されています。 これは、ガバナンス、モニタリング、および本番運用の準備をモデルサービングエンドポイントにもたらす一元化されたサービスです。 また、AI トラフィックを実行、保護、管理して、組織の AI 導入を民主化し、加速することもできます。

すべてのデータは 、Unity Catalog の Delta テーブルに記録されます。

AI Gateway は、次の機能をサポートしています。

  • アクセス権を持つユーザーとアクセス権の量を制御するためのアクセス許可とレート制限。

  • 推論テーブル を使用してモデル に送信されるデータを監視および監査するための ペイロードロギングAPIs 。

  • システムテーブル を使用して、エンドポイントの運用使用状況と関連コストを監視する ための使用状況の追跡 。

  • AIガードレール は、リクエストとレスポンスの不要なデータや安全でないデータを防ぎます。

  • デプロイ中およびデプロイ後の本番運用の停止を最小限に抑えるためのトラフィックルーティング。

Mosaic AI Gateway は、有効な機能ごとに料金が発生します。 プレビュー期間中、これらの有料機能には、AIガードレール、ペイロードロギング、使用状況追跡が含まれます。 クエリのアクセス許可、レート制限、トラフィック ルーティングなどの機能は無料です。 新機能には料金がかかります。

AIガードレール

AI Guardrails を使用すると、ユーザーはモデル サービング エンドポイント レベルでデータ コンプライアンスを構成および適用し、基になるモデルに送信される要求の有害なコンテンツを減らすことができます。 不正な要求と応答はブロックされ、デフォルトのメッセージがユーザーに返されます。 モデルサービングエンドポイントでガードレールを設定する方法をご覧ください。

重要

AI ガードレールは、 基盤モデル APIs トークン単位の従量課金をサポートするリージョンでのみ使用できます。

次の表は、設定可能なガードレールをまとめたものです。

ガードレール

定義

安全フィルタリング

セーフティ フィルタリングは、モデルが暴力犯罪、自傷行為、ヘイトスピーチなどの安全でない有害なコンテンツとやり取りするのを防ぎます。

AI Gateway安全フィルターはMeta Llama 3で構築されています。Databricks は、安全フィルターとして Llama Guard 2-8b を使用します。 ラマガードの安全フィルターの詳細と、安全フィルターに適用されるトピックについては、Meta Llama Guard 2 8Bモデルカードを参照してください

Meta Llama 3 は 、LLAMA 3 コミュニティ ライセンス、著作権 © Meta Platforms, Inc. の下でライセンスされています。 全著作権所有。 お客様は、該当するモデルライセンスでコンプライアンスを確保する責任があります。

個人を特定できる情報 (PII) の検出

顧客は、ユーザーの機密情報 (名前、住所、クレジット カード番号など) を検出できます。

この機能では、AI Gateway は Presidio を使用します。 PII 分類子は、構造化データと非構造化データ内の機密情報または PII を識別するのに役立ちます。 ただし、自動検出メカニズムを使用しているため、サービスがすべての機密情報を見つける保証はありません。 したがって、追加のシステムと保護を採用する必要があります。

これらの分類方法は、主に米国の電話番号や社会保障番号など、米国の PII カテゴリを対象としています。

トピックのモデレーション

許可されたトピックのセットを一覧表示する機能。 チャットリクエストを指定すると、このガードレールは、そのトピックが許可されたトピックにない場合、リクエストにフラグを立てます。

キーワードフィルタリング

顧客は、入力と出力の両方に異なる無効なキーワードのセットを指定できます。 キーワードフィルタリングの潜在的なユースケースの1つは、モデルが競合他社について語らないようにすることです。

このガードレールは、キーワードまたは文字列の一致を使用して、キーワードがリクエストまたはレスポンスコンテンツに存在するかどうかを判断します。

AI Gatewayを使用する

モデルサービングエンドポイントの AI Gateway 機能は、サービング UI を使用して設定できます。 モデルサービングエンドポイントでのAIゲートウェイの設定を参照してください。

制限事項

プレビュー期間中の制限事項は次のとおりです。

  • AI Gateway は、 外部モデルを提供するモデルサービングエンドポイントでのみサポートされます。

  • AI Gateway は HIPPA ワークスペースではサポートされていません。

  • ガードレールを使用する場合、リクエストのバッチサイズ (埋め込みバッチサイズ、完了バッチサイズ、またはチャットリクエストの n パラメーター) は 16 を超えることはできません。