モデルの品質とエンドポイントの正常性の監視

備考

プレビュー

Mosaic AI Model Serving は パブリック プレビュー 段階にあり、 us-east1 と us-central1でサポートされています。

Mosaic AI Model Serving は、モデルとそのデプロイの品質と正常性を監視するための高度なツールを提供します。 次の表は、利用可能な各モニタリングツールの概要です。

ツール	説明	目的	アクセス
サービスログ	モデルサービング エンドポイントから stdout ストリームと stderr ストリームをキャプチャします。	モデルのデプロイ中のデバッグに役立ちます。 ログにすぐに表示するには、 print(..., flush=true) を使用します。	Serving UI の Logs タブ からアクセスできます。 ログはリアルタイムでストリームされ、APIを通じてエクスポートできます。
ビルドログ	モデルサービング エンドポイントの本番運用可能な Python 環境を自動的に作成するプロセスからの出力を表示します。	モデルのデプロイと依存関係の問題を診断するのに役立ちます。	モデルサービングビルドの完了時に、 ログ タブの ビルドログ で使用できます。ログはAPIを介してエクスポートできます。
エンドポイント健康状態のメトリクス	レイテンシ、リクエスト率、エラー率、CPU使用率、メモリ使用量などのインフラストラクチャメトリクスに関する知見を提供します。	サービス インフラストラクチャのパフォーマンスと正常性を理解するために重要です。	デフォルトでは、過去 14 日間は配信 UI で利用できます。 データは、リアルタイムでオブザーバビリティツールにストリームすることもできます。
AI Gateway 対応の推論テーブル	外部モデルまたはプロビジョニングされたスループット ワークロードを提供するエンドポイントの Unity Catalog によって管理される Delta テーブルに、オンライン予測要求と応答を自動的に記録します。	このツールは、モニタリングおよびデバッグ モデルの品質または応答、トレーニング データ セットの生成、またはコンプライアンス監査の実施に使用します。	UIまたは APIで1回クリックすることで、既存および新規のモデルサービングエンドポイントに対して有効にできます。

追加のリソース

• サービングエンドポイントのヘルスメトリクスを追跡し、Prometheus と Datadog にエクスポートする
• モデルサービングのコスト監視
• モデルサービングのデバッグガイド