モデルの品質とエンドポイントの正常性の監視
モデルサービングは、モデルとその展開の品質と健全性をモニタリングするための高度なツールを提供します。 次の表は、利用可能な各モニタリング ツールの概要です。
ツール | 説明 | 目的 | アクセス |
|---|---|---|---|
モデルサービング エンドポイントから | モデルのデプロイ中のデバッグに役立ちます。ログにすぐに表示するには、 | Serving UI の Logs タブ からアクセスできます。 ログはリアルタイムでストリームされ、APIを通じてエクスポートできます。 | |
標準システム ログ、カスタム アプリケーション ログ、メトリック、トレースを OpenTelemetry を使用してUnity Catalog Deltaテーブルに永続化し、長期保存します。 | 過去のデバッグ、コンプライアンス要件、 SQLクエリを使用した本番運用の問題の分析に役立ちます。 | エンドポイントを作成するときに、Serving UI または API でテレメトリ設定を構成します。Unity Catalog SQL または Databricks ノートブックを使用してログをクエリします。 | |
モデルサービング エンドポイントの本番運用可能な Python 環境を自動的に作成するプロセスからの出力を表示します。 | モデルのデプロイと依存関係の問題を診断するのに役立ちます。 | モデルサービングのビルドが完了すると、 ログ タブの ビルド ログで使用できます。ログは API を介してエクスポートできます。これらのログは、最大 30 日間保持されます。 | |
レイテンシ、リクエスト率、エラー率、CPU使用率、メモリ使用量などのインフラストラクチャメトリクスに関する知見を提供します。 | サービス インフラストラクチャのパフォーマンスと正常性を理解するために重要です。 | デフォルトでは、過去 14 日間は配信 UI で利用できます。 データは、リアルタイムでオブザーバビリティツールにストリームすることもできます。 | |
オンライン予測の要求と応答を、カスタム モデル、外部モデル、またはプロビジョニングされたスループット ワークロードを提供するエンドポイントの Unity Catalog によって管理される Delta テーブルに自動的に記録します。 | このツールは、モニタリングおよびデバッグ モデルの品質または応答、トレーニング データ セットの生成、またはコンプライアンス監査の実施に使用します。 | Serving UI またはREST APIを使用してAI Gateway機能を有効にするときに、既存および新規のモデルサービングエンドポイントに対して有効にできます。 |
これらのモニタリング ツールを使用して、パフォーマンスのボトルネックを特定し、エンドポイントを最適化します。 包括的な最適化戦略については、 「本番運用のためのモデルサービング エンドポイントの最適化」を参照してください。