Mosaic AI ゲートウェイ

プレビュー

この機能はパブリックプレビュー段階です。

Mosaic AI Gatewayとは?

Mosaic AI Gateway は、組織内の生成AI モデルの使用と管理を効率化するように設計されています。 これは、ガバナンス、モニタリング、および本番運用の準備をモデルサービングエンドポイントにもたらす一元化されたサービスです。 また、AI トラフィックを実行、保護、管理して、組織の AI 導入を民主化し、加速することもできます。

すべてのデータは 、Unity Catalog の Delta テーブルに記録されます。

AIGatewayのデータから知見を可視化するには、 AIから Gatewayダッシュボードの例 GitHubをダウンロードしてください。このダッシュボードは、使用状況追跡およびペイロード ログ推論テーブルのデータを活用します。

JSON ファイルをダウンロードしたら、ダッシュボードをワークスペースにインポートします。ダッシュボードのインポート方法については、「ダッシュボードファイルのインポート」をご覧ください。

サポートされている機能

次の表では、使用可能な AI Gateway 機能と、それらをサポートするモデルサービングエンドポイントタイプを定義しています。

機能

定義

外部モデルエンドポイント

基盤モデル APIs プロビジョニング スループット endpoint

許可とレート制限

誰がどの程度のアクセス権を持つかを制御します。

✓

✓

ペイロードのロギング

推論テーブル を使用して、モデルAPIs に送信されるデータを監視および監査します。

✓

✓

使用状況の追跡

システムテーブルを使用して、エンドポイントの運用使用状況と関連コストをモニタリングします。

✓

✓

AIガードレール

要求と応答の不要なデータや安全でないデータを防ぎます。 「AI ガードレール」を参照してください。

✓

✓

トラフィック ルーティング

デプロイ中およびデプロイ後の本番運用の停止を最小限に抑えます。

✓

✓

Mosaic AI Gateway は、有効な機能ごとに料金が発生します。 プレビュー期間中、これらの有料機能には、AIガードレール、ペイロードロギング、使用状況追跡が含まれます。 クエリのアクセス許可、レート制限、トラフィック ルーティングなどの機能は無料です。 新機能は有料です。

AIガードレール

AI Guardrails を使用すると、ユーザーはモデル サービング エンドポイント レベルでデータ コンプライアンスを構成および適用し、基になるモデルに送信される要求の有害なコンテンツを減らすことができます。 不正な要求と応答はブロックされ、デフォルトのメッセージがユーザーに返されます。 モデルサービングエンドポイントでガードレールを設定する方法をご覧ください。

重要

AI ガードレールは、 基盤モデル APIs トークン単位の従量課金をサポートするリージョンでのみ使用できます。

次の表は、設定可能なガードレールをまとめたものです。 制限事項を参照してください。

ガードレール

定義

安全フィルタリング

セーフティ フィルタリングは、モデルが暴力犯罪、自傷行為、ヘイトスピーチなどの安全でない有害なコンテンツとやり取りするのを防ぎます。

AI Gateway安全フィルターはMeta Llama 3で構築されています。Databricks は、安全フィルターとして Llama Guard 2-8b を使用します。 Llama Guard セーフティ フィルタの詳細と、セーフティ フィルタに適用されるトピックについては、 Meta Llama Guard 2 8B モデル カードを参照してください。

Meta Llama 3 は 、LLAMA 3 コミュニティ ライセンス、著作権 © Meta Platforms, Inc. の下でライセンスされています。 全著作権所有。 お客様は、該当するモデルライセンスでコンプライアンスを確保する責任があります。

個人を特定できる情報 (PII) の検出

顧客は、ユーザーの名前、住所、クレジットカード番号などの機密情報を検出できます。

この機能では、 AI Gateway は Presidio を使用して、クレジット カード番号、Eメール アドレス、電話番号、銀行アカウント番号、社会保障番号など、米国の PII カテゴリを検出します。

PII 分類子は、構造化データと非構造化データ内の機密情報または PII を識別するのに役立ちます。 ただし、自動検出メカニズムを使用しているため、サービスがすべての機密情報を見つける保証はありません。 したがって、追加のシステムと保護を採用する必要があります。

これらの分類方法は、主に米国の電話番号や社会保障番号など、米国の PII カテゴリを対象としています。

トピックのモデレーション

許可されたトピックのセットを一覧表示する機能。 チャットリクエストを指定すると、このガードレールは、そのトピックが許可されたトピックにない場合、リクエストにフラグを立てます。

キーワードフィルタリング

顧客は、入力と出力の両方に異なる無効なキーワードのセットを指定できます。 キーワードフィルタリングの潜在的なユースケースの1つは、モデルが競合他社について語らないようにすることです。

このガードレールは、キーワードまたは文字列の一致を使用して、キーワードがリクエストまたはレスポンスコンテンツに存在するかどうかを判断します。

AI Gatewayを使用する

モデルサービングエンドポイントの AI Gateway 機能は、サービング UI を使用して設定できます。 モデルサービングエンドポイントでのAIゲートウェイの設定を参照してください。

制限事項

プレビュー期間中の制限事項は次のとおりです。

  • AI Gateway は、次の場合にのみサポートされます。

  • AIガードレールを使用する場合、リクエストのバッチサイズ、つまり埋め込みバッチサイズ、完了バッチサイズ、またはチャットリクエストのnパラメーターは16を超えることはできません。

  • プロビジョニングされたスループット ワークロードでは、AI Gateway 対応推論テーブルを使用したレート制限とペイロード ログ記録のみがサポートされています。

  • AI Gateway 対応推論テーブルの制限事項をご覧ください。

  • 関数呼び出しを使用して AI ガードレールを指定した場合、それらのガードレールは関数の要求と中間応答には適用されません。ただし、ガードレールは最終出力応答に適用されます。