Mosaic AI Gatewayの紹介

備考

プレビュー

この機能は パブリック プレビュー段階です。

この記事では、サポートされている生成AI モデルとそれに関連するモデルサービング エンドポイントへのアクセスを管理および監視するためのDatabricksソリューションであるMosaic AI Gatewayについて説明します。

Mosaic AI Gatewayとは?

Mosaic AI Gateway は、組織内の生成AI モデルとエージェントの使用と管理を効率化するように設計されています。 これは、ガバナンス、モニタリング、および本番運用の準備をモデルサービングエンドポイントにもたらす一元化されたサービスです。 また、AI トラフィックを実行、保護、管理して、組織の AI 導入を民主化し、加速することもできます。

すべてのデータは 、Unity Catalog の Delta テーブルに記録されます。

AI Gatewayのデータから知見を可視化するには、GitHubからAI Gatewayダッシュボードの例 をダウンロードしてください。このダッシュボードは、使用状況追跡およびペイロード ログ推論テーブルのデータを活用します。

JSON ファイルをダウンロードしたら、ダッシュボードをワークスペースにインポートします。 ダッシュボードのインポート手順については、「 ダッシュボード ファイルのインポート」を参照してください。

サポートされている機能

次の表では、使用可能な AI Gateway 機能と、それらをサポートするモデルサービングエンドポイントタイプを定義しています。

機能	定義	外部モデルエンドポイント	プロビジョニング スループット基盤モデル APIエンドポイント	Mosaic AIエージェント
許可とレート制限	誰がどの程度のアクセス権を持つかを制御します。	サポート	サポート	サポートされていない
ペイロードのロギング	推論テーブル を使用して、モデルAPI に送信されるデータを監視および監査します。	サポート	サポート	サポート
使用状況の追跡	システムテーブルを使用して、エンドポイントの運用使用状況と関連コストをモニタリングします。	サポート	サポート	サポートされていない
AIガードレール	要求と応答の不要なデータや安全でないデータを防ぎます。 AI ガードレールを参照してください。	サポート	サポート	サポートされていない
フォールバック	デプロイ中およびデプロイ後の本番運用の停止を最小限に抑えます。	サポート	サポートされていない	サポートされていない
トラフィック分割	モデル間でトラフィックを負荷分散します。	サポート	サポート	サポートされていない

Mosaic AI Gateway は、有効な機能ごとに料金が発生します。プレビュー期間中、これらの有料機能には、AI ガードレール、ペイロード ログ、使用状況の追跡が含まれます。クエリのアクセス許可、レート制限、フォールバック、トラフィック分割などの機能は無料です。新機能は有料です。

AIガードレール

AI Guardrails を使用すると、ユーザーはモデル サービング エンドポイント レベルでデータ コンプライアンスを構成および適用し、基になるモデルに送信される要求の有害なコンテンツを減らすことができます。 不正な要求と応答はブロックされ、デフォルトのメッセージがユーザーに返されます。 モデルサービングエンドポイントでガードレールを設定する方法をご覧ください。

important

AI Guardrails モデレーション サービスは、トークン単位の従量課金モデルAPIs基盤モデルに依存しています。この依存関係により、AI GuardrailsAPIsモデレーションサービスの可用性は、 トークン単位の従量課金をサポートする地域に 限られます 。

次の表は、設定可能なガードレールをまとめたものです。 制限事項を参照してください。

ガードレール	定義
安全フィルタリング	セーフティフィルタリングでは、お使いのモデルが暴力犯罪、自傷行為、ヘイトスピーチなど、安全でない有害なコンテンツと接触するのを防ぎます。 AI Gateway安全フィルターはMeta Llama 3で構築されています。Databricks は、安全フィルターとして Llama Guard 2-8b を使用します。 Llama Guard セーフティ フィルタの詳細と、セーフティ フィルタに適用されるトピックについては、 Meta Llama Guard 2 8B モデル カードを参照してください。 Meta Llama 3 は 、LLAMA 3 コミュニティ ライセンス、著作権 © Meta Platforms, Inc. の下でライセンスされています。 全著作権所有。 お客様は、該当するモデルライセンスでコンプライアンスを確保する責任があります。
個人を特定できる情報 (PII) の検出	顧客は、ユーザーの名前、住所、クレジットカード番号などの機密情報を検出できます。 この機能では、 AI Gateway は Presidio を使用して、クレジット カード番号、Eメール アドレス、電話番号、銀行アカウント番号、社会保障番号など、米国の PII カテゴリを検出します。 PII 分類子は、構造化データと非構造化データ内の機密情報または PII を識別するのに役立ちます。 ただし、自動検出メカニズムを使用しているため、サービスがすべての機密情報を見つける保証はありません。 したがって、追加のシステムと保護を採用する必要があります。 これらの分類方法は、主に米国の電話番号や社会保障番号など、米国の PII カテゴリを対象としています。
トピックのモデレーション	許可されたトピックのセットを一覧表示する機能。 チャットリクエストを指定すると、このガードレールは、そのトピックが許可されたトピックにない場合、リクエストにフラグを立てます。
キーワードフィルタリング	顧客は、入力と出力の両方に異なる無効なキーワードのセットを指定できます。 キーワードフィルタリングの潜在的なユースケースの1つは、モデルが競合他社について語らないようにすることです。 このガードレールは、キーワードまたは文字列の一致を使用して、キーワードがリクエストまたはレスポンスコンテンツに存在するかどうかを判断します。

AI Gatewayを使用する

モデルサービングエンドポイントの AI Gateway 機能は、サービング UI を使用して設定できます。 モデルサービングエンドポイントでの AI Gateway の設定を参照してください。

制限

プレビュー期間中の制限事項は次のとおりです。

• AI Gateway は、次の場合にのみサポートされます。

  • プロビジョニング スループット基盤モデル APIモデルサービングエンドポイント。
  • モデルサービング 外部モデルを提供するエンドポイント。
  • モデルサービング Mosaic AI エージェントを提供するエンドポイント。

• AIガードレールを使用する場合、リクエストのバッチサイズ、つまり埋め込みバッチサイズ、完了バッチサイズ、またはチャットリクエストのnパラメーターは16を超えることはできません。

• プロビジョニングされたスループット ワークロードでは、AI Gateway 対応推論テーブルを使用したレート制限とペイロード ログ記録のみがサポートされています。

• AI Gateway 対応推論テーブルの制限事項をご覧ください。

• 関数呼び出しを使用して AI ガードレールを指定した場合、それらのガードレールは関数の要求と中間応答には適用されません。ただし、ガードレールは最終出力応答に適用されます。