Surveillez la qualité du modèle et l'état de santé de l'Endpoint

Model Serving fournit des outils avancés pour le monitoring de la qualité et de la santé des modèles et de leurs déploiements. Le tableau suivant présente un aperçu de chaque outil de monitoring disponible.

Outil	Description	Objectif	Accès
Logs de service	Capture les `stdout` et `stderr` Streams depuis l'Endpoint de mise en service du modèle.	Utile pour le debugging pendant le déploiement du modèle. Utilisez `logging.warning(...)` ou `logging.error(...)` pour un affichage immédiat dans les logs.	Accessible à l’aide de la tab Logs dans l’interface utilisateur de service. Logs sont Stream en temps réel et peuvent être exportés via l’API.
Logs de build	Affiche la sortie du processus qui crée automatiquement un environnement Python prêt pour la production pour l’endpoint de service de modèle.	Utile pour diagnostiquer les problèmes de déploiement de modèles et de dépendances.	Disponible une fois la création du modèle déployé terminée sous Journaux de build dans l'onglet Logs . Logs peuvent être exportés via l'API.
Métriques d'intégrité de l'Endpoint	Fournit des insights sur les métriques d'infrastructure comme la latence, le taux de requêtes, le taux d'erreurs, l'utilisation du CPU et l'utilisation de la mémoire.	Important pour comprendre les performances et l'état de santé de l'infrastructure de service.	Disponible par default dans l'interface utilisateur de service pour les 14 derniers jours. Les données peuvent également être transmises en continu aux outils d'observabilité en temps réel.
Tables d'inférence compatibles avec AI Gateway	Journalise automatiquement les requêtes et réponses de prédiction en ligne dans les tables Delta gérées par Unity Catalog pour les Endpoints qui servent des modèles personnalisés, des modèles externes ou des charges de travail à throughput provisionné.	Utilisez cet outil pour le monitoring et le debugging de la qualité ou des réponses des modèles, la génération d'ensembles de données d'entraînement ou la réalisation d'audits de conformité.	Peut être activé pour les Endpoint de déploiement de modèles existants et nouveaux en un seul clic dans l'interface utilisateur ou l'API.

Outil	Description	Objectif	Accès
Logs de service	Capture les `stdout` et `stderr` Streams depuis l'Endpoint de mise en service du modèle.	Utile pour le debugging pendant le déploiement du modèle. Utilisez `logging.warning(...)` ou `logging.error(...)` pour un affichage immédiat dans les logs.	Accessible à l’aide de la tab Logs dans l’interface utilisateur de service. Logs sont Stream en temps réel et peuvent être exportés via l’API.
Logs de build	Affiche la sortie du processus qui crée automatiquement un environnement Python prêt pour la production pour l’endpoint de service de modèle.	Utile pour diagnostiquer les problèmes de déploiement de modèles et de dépendances.	Disponible une fois la création du modèle déployé terminée sous Journaux de build dans l'onglet Logs . Logs peuvent être exportés via l'API.
Métriques d'intégrité de l'Endpoint	Fournit des insights sur les métriques d'infrastructure comme la latence, le taux de requêtes, le taux d'erreurs, l'utilisation du CPU et l'utilisation de la mémoire.	Important pour comprendre les performances et l'état de santé de l'infrastructure de service.	Disponible par default dans l'interface utilisateur de service pour les 14 derniers jours. Les données peuvent également être transmises en continu aux outils d'observabilité en temps réel.
Tables d'inférence compatibles avec AI Gateway	Journalise automatiquement les requêtes et réponses de prédiction en ligne dans les tables Delta gérées par Unity Catalog pour les Endpoints qui servent des modèles personnalisés, des modèles externes ou des charges de travail à throughput provisionné.	Utilisez cet outil pour le monitoring et le debugging de la qualité ou des réponses des modèles, la génération d'ensembles de données d'entraînement ou la réalisation d'audits de conformité.	Peut être activé pour les Endpoint de déploiement de modèles existants et nouveaux en un seul clic dans l'interface utilisateur ou l'API.

astuce

Utilisez ces outils de monitoring pour identifier les goulots d'étranglement de performance et optimiser vos Endpoint. Pour des stratégies d'optimisation complètes, consultez Optimiser les Endpoint de Model Serving pour la production.

Ressources supplémentaires​

Ressources supplémentaires