Observabilité de la diffusion de modèle avec Genie Code

info

Aperçu

Cette fonctionnalité est en aperçu public.

Cet article décrit comment Genie Code peut vous aider à diagnostiquer des problèmes, analyser les performances et obtenir des conseils pour vos endpoints de service de modèle.

Exigences

Pour utiliser Genie Code pour l'observabilité du service de modèles, votre workspace a besoin des éléments suivants :

• Fonctionnalités d'IA propulsées par des partenaires activées pour le compte et le Workspace. Voir les fonctionnalités d’IA optimisées par des partenaires.
• Votre Workspace doit se trouver dans une région prise en charge. Genie Code est un Service désigné qui utilise Geos pour gérer la résidence des données. Consultez Disponibilité Geo des fonctionnalités Genie Code.

remarque

Genie Code ne prend actuellement en charge que les endpoints de déploiement de modèles personnalisés.

À quoi Genie Code peut-il servir ?

Lorsque vous utilisez Genie Code sur une page d'endpoint de model serving, il devient un compagnon d'observabilité pour le model serving. Il peut analyser l'état des Endpoint, diagnostiquer les échecs de déploiement, examiner les problèmes de latence et fournir des conseils sur les meilleures pratiques — le tout à partir du volet Genie Code.

Genie Code est un conseiller en lecture seule dans ce mode. Il peut inspecter vos endpoints et fournir des recommandations, mais il ne peut pas modifier les configurations ou les déploiements. Il contient des instructions claires, étape par étape et des liens vers la documentation afin que vous puissiez effectuer les modifications vous-même.

Get start

Pour commencer :

1. Accédez à une page d'endpoint de service de modèle.
2. Cliquez sur pour ouvrir le volet Genie Code.
3. Dans le coin inférieur droit, sélectionnez Agent . Ceci active le mode Agent de Genie Code.
4. Saisissez un prompt décrivant l'aide dont vous avez besoin. Par exemple, « Vérifiez l'état de cet Endpoint » ou « Pourquoi ma latence est-elle si élevée ? »

Fonctionnalités

Vérifications d'état de santé et diagnostics

Genie Code peut analyser l'état et la configuration de votre endpoint pour identifier les problèmes potentiels :

• Vérifiez l'état de l'endpoint et les états de déploiement.
• Examiner la configuration par rapport aux bonnes pratiques.
• Évaluez la mise à l'échelle et l'utilisation des ressources.

Dépannage et analyse

Genie Code peut aider à résoudre les problèmes avec vos Endpoints :

• Diagnostiquez les échecs de déploiement à l'aide des logs de build, des événements et de l'état de l'endpoint.
• Examinez les problèmes de latence élevée ou de délai d'attente à l'aide de métriques, d'événements et de données de table d'inférence.
• Analysez les modèles d'erreur à partir des logs de service et des tables d'inférence.
• Identifier les erreurs de configuration ou les contraintes de ressources.
• Comparer les configurations actuelles et en attente avec l'évaluation des risques.

Conseils et bonnes pratiques

Genie Code propose des recommandations basées sur la configuration de votre endpoint :

• Recommander des configurations de mise à l'échelle optimales pour les charges de travail de production et de développement.
• Expliquez les états et les transitions de l’Endpoint.
• Vous guider sur la configuration du monitoring et de l'observabilité.
• Rechercher la documentation Databricks et fournir des liens vers des articles pertinents.

Cas d'utilisation

Essayez ces invites pour start :

• Vérifications de l'état de santé :

  • « Vérifier la santé de cet Endpoint. »
  • « Mon Endpoint est-il configuré correctement ? »
  • « Examiner la configuration de mise à l’échelle de mon endpoint. »

• Échecs de déploiement :

  • « /diagnostiquer » ou « Pourquoi mon déploiement a-t-il échoué ? »
  • « Aidez-moi à corriger les erreurs de déploiement. »
  • "Mon Endpoint est bloqué à l'état en attente."

• debugging de la latence :

  • « Pourquoi ma latence est-elle si élevée ? »
  • « Analysez le pic de latence de ce matin. »
  • « Montrez-moi les métriques de performance des dernières 24 heures. »

• Examen de la configuration :

  • « Qu'est-ce qui a changé dans ma configuration en attente ? »
  • « Mon paramètre de concurrence est-il approprié pour la production ? »
  • « Affichez-moi ma configuration de table d'inférence. »

• Historique des demandes :

  • « Montrez-moi les requêtes récentes pour cet endpoint. »
  • « Quels sont les erreurs rencontrées par mes utilisateurs ? »
  • « Analysez les modèles d'erreur de la dernière semaine. »

Ressources supplémentaires

• Genie Code
• Utiliser Genie Code
• Surveillez la qualité des modèles et la santé des Endpoint.
• Guide de debugging pour Model Serving
• Optimiser les Endpoints de Model Serving pour la production