Créer une vue de trace personnalisée
Cette fonctionnalité est en version Bêta.
Une vue de trace personnalisée est un Layout personnalisé dans l’explorateur de traces MLflow de Databricks. Au lieu des default tabs, il affiche les champs de trace, les métriques et les contrôles de feedback les plus importants pour votre flux de travail de relecture.
Les vues personnalisées sont assistées par IA : vous décrivez le layout que vous souhaitez en langage clair, et Genie le génère pour vous. Aucun codage n’est requis. Chaque vue est un template agnostique aux traces qui se relie automatiquement à chaque trace de l’expérimentation ; vous construisez ainsi un layout une seule fois et le réutilisez pour toutes vos traces.
Les vues personnalisées sont utiles lorsque vous souhaitez :
- Faites remonter un petit ensemble de champs à signal élevé pour un examen ciblé, plutôt que d'analyser l'arborescence complète des spans.
- Présentez le même Layout à chaque examinateur travaillant dans une expérimentation.
- Ajoutez des contrôles de feedback interactifs afin que les relecteurs puissent noter les traces directement pendant leur lecture.
Créer une vue personnalisée
- Ouvrez une trace depuis le Traces tab. Pour plus de détails sur la recherche et l’ouverture de traces, consultez Afficher les traces dans l’interface utilisateur MLflow de Databricks.
- Sélectionnez l’onglet Custom view dans l’explorateur de traces.
- Dans la zone de texte, décrivez le layout que vous souhaitez en langage clair. Par exemple, décrivez quels champs de trace afficher, quelles métriques résumer et quels contrôles de feedback inclure.
- Cliquez sur Construire avec Genie . Genie génère un layout à partir de votre description. Pour l’affiner, cliquez sur Modifier avec Genie et décrivez les changements que vous souhaitez.
- Cliquez sur Enregistrer . MLflow enregistre les vues sauvegardées avec l’expérimentation, et elles deviennent disponibles pour chaque trace au sein de cette expérimentation.
Pour créer des vues supplémentaires, ouvrez le sélecteur de vue et sélectionnez Créer une vue .
Afficher les composants
Lorsque vous décrivez un Layout, Genie l’assemble à partir d’un ensemble de composants d’affichage :
- Carte de statistiques : affiche une métrique ou une valeur unique, telle que la latence, le nombre de jetons ou un score calculé.
- Tableau d’évaluation : affiche les évaluations enregistrées pour une trace, y compris les retours et les résultats d’évaluation.
- Visionneuse clé-valeur : affiche les champs structurés de la trace sous forme de paires clé-valeur.
- Primitives de layout : organisez les composants en lignes, colonnes et sections.
Ajouter des contrôles de feedback
Vous pouvez ajouter des contrôles interactifs à une vue personnalisée afin que les examinateurs puissent noter et commenter les traces directement dans le Layout. Les contrôles disponibles incluent :
- Boutons Pouce levé et Pouce vers le bas pour une approbation ou un rejet rapide.
- Groupes de boutons radio pour sélectionner une option parmi un ensemble.
- Saisies de texte pour des commentaires libres ou une justification.
MLflow enregistre ce feedback dans la trace en tant qu’analyse, afin qu’il apparaisse aux côtés d’autres analyses et soit disponible pour l’ évaluation et le monitoring.
Gérer les vues enregistrées
Les vues sont partagées au niveau de l’expérimentation ; ainsi, toute personne disposant de l’autorisation d’afficher l’expérimentation voit le même ensemble de vues personnalisées. MLflow stocke les vues sous forme de tags d’expérimentation.
Depuis l’explorateur de traces, vous pouvez :
- Changer de vue
- Renommer une vue
- Supprimer une vue
Comme les vues sont des Template indépendants des traces, le changement de vue modifie uniquement le Layout. Les données de trace sous-jacentes restent identiques et la vue sélectionnée se relie à la trace que vous ouvrez ensuite.
Autorisations
L’accès aux vues personnalisées suit les autorisations de l’Experimentation :
CAN EDITouCAN MANAGE: créer, renommer et supprimer des vues personnalisées.CAN READ: Affichez et basculez entre les vues enregistrées, mais ne pouvez pas les créer, les renommer ou les supprimer.
Limitations
- Chaque expérimentation peut stocker un maximum de 50 vues enregistrées.
- Chaque vue a une limite d’environ 20 000 octets UTF-8. Les vues plus volumineuses sont compressées pour respecter la limite.
- Une vue dont la définition stockée est corrompue apparaît sous forme d’espace réservé jusqu’à ce que vous la reconstruisiez.
Ressources supplémentaires
- Afficher les traces dans l’interface utilisateur MLflow de Databricks - Explorez, recherchez et déboguez les traces dans l’explorateur de traces
- Collecter les feedbacks des utilisateurs - Capturer et enregistrer les feedbacks humains sur les traces
- Évaluer et surveiller les agents – Évaluer systématiquement la qualité des traces