Surveillez la qualité du modèle et l'état de santé de l'Endpoint

Model Serving fournit des outils avancés pour le monitoring de la qualité et de la santé des modèles et de leurs déploiements. Le tableau suivant présente un aperçu de chaque outil de monitoring disponible.

Outil	Description	Objectif	Accès
Logs de service éphémères	Capture les `stdout` et `stderr` Streams depuis l'Endpoint de mise en service du modèle.	Utile pour le debugging pendant le déploiement du modèle. Utilisez `logging.warning(...)` ou `logging.error(...)` pour un affichage immédiat dans les logs.	Accessible à l’aide de la tab Logs dans l’interface utilisateur de service. Logs sont Stream en temps réel et peuvent être exportés via l’API.
OpenTelemetry pour les endpoints de service de modèle personnalisés	Conserve les Logs système standard, les Logs d'application personnalisés, les métriques et les traces dans les tables Delta du Unity Catalog à l'aide d'OpenTelemetry pour une conservation à long terme.	Utile pour le debugging historique, les exigences de conformité et l’analyse des problèmes de production à l’aide de requêtes SQL.	Configurez les paramètres de télémétrie dans l'interface utilisateur de Serving ou l'API lors de la création de l'Endpoint. Interrogez les Logs à l'aide de Unity Catalog SQL ou des Notebooks Databricks.
Logs de build	Affiche la sortie du processus qui crée automatiquement un environnement Python prêt pour la production pour l’endpoint de service de modèle.	Utile pour diagnostiquer les problèmes de déploiement de modèles et de dépendances.	Disponible une fois la création du modèle déployé terminée sous Journaux de build dans l'onglet Logs . Les logs peuvent être exportés via l'API. Ces logs sont conservés pendant trente (30) jours maximum.
Métriques d'intégrité de l'Endpoint	Fournit des insights sur les métriques d'infrastructure comme la latence, le taux de requêtes, le taux d'erreurs, l'utilisation du CPU et l'utilisation de la mémoire.	Important pour comprendre les performances et l'état de santé de l'infrastructure de service.	Disponible par default dans l'interface utilisateur de service pour les 14 derniers jours. Les données peuvent également être transmises en continu aux outils d'observabilité en temps réel.
Tables d'inférence compatibles avec AI Gateway	Journalise automatiquement les requêtes et réponses de prédiction en ligne dans les tables Delta gérées par Unity Catalog pour les Endpoints qui servent des modèles personnalisés, des modèles externes ou des charges de travail à throughput provisionné.	Utilisez cet outil pour le monitoring et le debugging de la qualité ou des réponses des modèles, la génération d'ensembles de données d'entraînement ou la réalisation d'audits de conformité.	Peut être activé pour les endpoints de déploiement de modèles existants et nouveaux lors de l'activation des fonctionnalités de AI Gateway à l'aide de l'interface utilisateur de Serving ou de l'API REST.

Outil	Description	Objectif	Accès
Logs de service éphémères	Capture les `stdout` et `stderr` Streams depuis l'Endpoint de mise en service du modèle.	Utile pour le debugging pendant le déploiement du modèle. Utilisez `logging.warning(...)` ou `logging.error(...)` pour un affichage immédiat dans les logs.	Accessible à l’aide de la tab Logs dans l’interface utilisateur de service. Logs sont Stream en temps réel et peuvent être exportés via l’API.
OpenTelemetry pour les endpoints de service de modèle personnalisés	Conserve les Logs système standard, les Logs d'application personnalisés, les métriques et les traces dans les tables Delta du Unity Catalog à l'aide d'OpenTelemetry pour une conservation à long terme.	Utile pour le debugging historique, les exigences de conformité et l’analyse des problèmes de production à l’aide de requêtes SQL.	Configurez les paramètres de télémétrie dans l'interface utilisateur de Serving ou l'API lors de la création de l'Endpoint. Interrogez les Logs à l'aide de Unity Catalog SQL ou des Notebooks Databricks.
Logs de build	Affiche la sortie du processus qui crée automatiquement un environnement Python prêt pour la production pour l’endpoint de service de modèle.	Utile pour diagnostiquer les problèmes de déploiement de modèles et de dépendances.	Disponible une fois la création du modèle déployé terminée sous Journaux de build dans l'onglet Logs . Les logs peuvent être exportés via l'API. Ces logs sont conservés pendant trente (30) jours maximum.
Métriques d'intégrité de l'Endpoint	Fournit des insights sur les métriques d'infrastructure comme la latence, le taux de requêtes, le taux d'erreurs, l'utilisation du CPU et l'utilisation de la mémoire.	Important pour comprendre les performances et l'état de santé de l'infrastructure de service.	Disponible par default dans l'interface utilisateur de service pour les 14 derniers jours. Les données peuvent également être transmises en continu aux outils d'observabilité en temps réel.
Tables d'inférence compatibles avec AI Gateway	Journalise automatiquement les requêtes et réponses de prédiction en ligne dans les tables Delta gérées par Unity Catalog pour les Endpoints qui servent des modèles personnalisés, des modèles externes ou des charges de travail à throughput provisionné.	Utilisez cet outil pour le monitoring et le debugging de la qualité ou des réponses des modèles, la génération d'ensembles de données d'entraînement ou la réalisation d'audits de conformité.	Peut être activé pour les endpoints de déploiement de modèles existants et nouveaux lors de l'activation des fonctionnalités de AI Gateway à l'aide de l'interface utilisateur de Serving ou de l'API REST.

astuce

Utilisez ces outils de monitoring pour identifier les goulots d'étranglement de performance et optimiser vos Endpoint. Pour des stratégies d'optimisation complètes, consultez Optimiser les Endpoint de Model Serving pour la production.

Ressources supplémentaires​

Ressources supplémentaires