モデルの品質とエンドポイントの正常性の監視

Mosaic AI Model Serving は、モデルとそのデプロイの品質と正常性を監視するための高度なツールを提供します。次の表は、利用可能な各モニタリングツールの概要です。

ツール	説明	目的	アクセス
サービスログ	モデルサービングエンドポイントから `stdout` ストリームと `stderr` ストリームをキャプチャします。	モデルのデプロイ中のデバッグに役立ちます。ログにすぐに表示するには、 `print(..., flush=true)` を使用します。	Serving UI の Logs タブからアクセスできます。ログはリアルタイムでストリームされ、APIを通じてエクスポートできます。
ビルドログ	モデルサービングエンドポイントの本番運用可能な Python 環境を自動的に作成するプロセスからの出力を表示します。	モデルのデプロイと依存関係の問題を診断するのに役立ちます。	モデルサービングビルドの完了時に、ログタブのビルドログで使用できます。ログはAPIを介してエクスポートできます。
エンドポイント健康状態のメトリクス	レイテンシ、リクエスト率、エラー率、CPU使用率、メモリ使用量などのインフラストラクチャメトリクスに関する知見を提供します。	サービスインフラストラクチャのパフォーマンスと正常性を理解するために重要です。	デフォルトでは、過去 14 日間は配信 UI で利用できます。データは、リアルタイムでオブザーバビリティツールにストリームすることもできます。
推論テーブル	オンライン予測の要求と応答を、カスタムモデルのためにUnity Catalog によって管理される Delta テーブルに自動的に記録します。	このツールは、モニタリングおよびデバッグモデルの品質または応答、トレーニングデータセットの生成、またはコンプライアンス監査の実施に使用します。	既存および新規のモデルサービングエンドポイントに対しては、Serving UI で 1 回クリックするか、プログラムで Serving APIを使用して有効にできます。
AI Gateway 対応の推論テーブル	外部モデルまたはプロビジョニングされたスループットワークロードを提供するエンドポイントの Unity Catalog によって管理される Delta テーブルに、オンライン予測要求と応答を自動的に記録します。	このツールは、モニタリングおよびデバッグモデルの品質または応答、トレーニングデータセットの生成、またはコンプライアンス監査の実施に使用します。	Serving UI またはREST APIを使用してAI Gateway機能を有効にするときに、既存および新規のモデルサービングエンドポイントに対して有効にできます。

追加のリソース​

追加のリソース