モデルの品質とエンドポイントの正常性をモニタリングする

Mosaic AI Model Servingモデルとそのデプロイメントの品質と健全性をモニタリングするための高度なツールを提供します。 次の表は、利用可能な各モニタリング ツールの概要です。

道具

説明

目的

アクセス

サービスログ

モデルサービング エンドポイントから stdout ストリームと stderr ストリームをキャプチャします。

モデルのデプロイ中のデバッグに役立ちます。 print(..., flush=true)を使用すると、ログにすぐに表示されます。

サービング UI の [ログ] タブ を使用してアクセスできます。 ログはリアルタイムでストリームされ、APIを介してエクスポートできます。

ビルドログ

モデルサービングエンドポイントに対して、本番運用対応のPython環境を自動的に作成するプロセスからの出力を表示します。

モデルのデプロイと依存関係の問題を診断するのに役立ちます。

[ログ] タブの [ビルド ログ] でモデルサービング ビルドが完了すると使用可能になります。ログは API を使用してエクスポートできます。

エンドポイントの正常性メトリクス

レイテンシー、リクエストレート、エラーレート、CPU使用率、メモリ使用量などのインフラストラクチャメトリクスに知見を提供します。

サービス インフラストラクチャのパフォーマンスと正常性を理解するために重要です。

過去 14 日間、サービング UI でデフォルトで使用できます。 また、データをリアルタイムでオブザーバビリティツールにストリーミングすることもできます。

推論テーブル

オンライン予測の要求と応答を、Unity Catalog によって管理される Delta テーブルに自動的に記録します。

このツールは、モデルの品質や応答のモニタリングとデバッグ、トレーニングデータセットの生成、コンプライアンス監査の実施に使用します。

既存および新規のモデルサービング エンドポイントに対して、UI または API で 1 回のクリックで有効にできます。