Collectez du feedback humain structuré avec des files d'attente d'examen
Bêta
Les files d'attente d'examen sont en version bêta. Un administrateur de Workspace les active depuis Gérer les aperçus en activant MLflow Review Queues . Si vous ne voyez pas de files d'attente d'examen dans votre Workspace, contactez l'équipe de votre compte Databricks.
Donnez du feedback humain sur les résultats de l'IA en utilisant des files d'attente d'examen pour améliorer la qualité de l'IA. Les files d'attente d'examen fournissent aux réviseurs un backlog structuré et séquentiel de questions auxquelles répondre, afin que le feedback reste cohérent à mesure que le nombre d'éléments augmente.
Databricks recommande des files d'attente d'examen pour les nouveaux workflows de révision humaine. Elles regroupent les questions structurées que vous définiriez avec des schémas d'étiquetage et la coordination des réviseurs des sessions d'étiquetage au sein d'une expérience d'examen unique et ciblée.
Vous pouvez examiner deux types d'éléments :
- Traces : les requêtes et réponses produites par votre application.
- Enregistrements de dataset : les entrées et les attentes dans un dataset d'évaluation, par exemple, pour permettre à un humain de sélectionner des réponses de référence.
Prérequis
- Une Experimentation MLflow avec les éléments que vous souhaitez faire réviser : des traces enregistrées depuis votre application IA, ou des enregistrements dans un dataset d'évaluation.
- Can Edit sur l'expérimentation pour signaler des éléments et créer des files d'attente. Les réviseurs qui répondent uniquement aux questions doivent disposer de l'autorisation Can Read et être affectés à la file d'attente. Consultez Permissions pour obtenir le détail complet.
- Les réviseurs qui n'ont pas accès au Workspace doivent être provisionnés dans votre compte Databricks. Voir Gestion des utilisateurs et des groupes.
Créer une file d'attente d'examen
Chaque expérimentation possède un onglet Reviews . Lorsqu'aucune file d'attente n'existe encore, un état vide s'affiche avec un bouton New queue .
Pour créer une file d'attente :
- Ouvrez l'onglet Reviews dans votre experimentation et cliquez sur Nouvelle file d'attente .
- Donnez un nom à la file d'attente et attribuez un ou plusieurs réviseurs.
- Sélectionnez les questions auxquelles les réviseurs doivent répondre. Une file d'attente utilise un sous-ensemble des questions de l'expérimentation, de sorte que différentes files d'attente peuvent poser des questions différentes. Un live preview montre exactement ce que chaque réviseur verra.
Définir les questions
Les questions sont ce que vous demandez aux réviseurs de traiter pour chaque élément. Elles sont définies une fois au niveau de l'expérimentation et partagées entre les files d'attente : les questions sont des objets distincts des files d'attente, et chaque file d'attente sélectionne le sous-ensemble dont elle a besoin. La modification d'une question la met à jour partout où elle est utilisée.
Une question d’examen comporte :
- Titre : l'invite courte que le réviseur voit (par exemple, « La réponse est-elle factuellement correcte ? »).
- Instruction (facultatif) : guide plus détaillé affiché à côté de la question.
- Type : indique si la question capture un retour d'information ou une attente . Voir Retour d'information vs attente.
- Format de réponse : la manière dont le réviseur répond. Voir Formats de réponse.
- Commentaire (facultatif) : permet aux réviseurs d’ajouter un commentaire en texte libre à côté de leur réponse.
Commentaires vs. attentes
Chaque question est soit une question de retour d'information , soit une question d' attente . Ce choix détermine ce que le réviseur fournit et où sa réponse est écrite :
- Commentaires : le jugement du réviseur sur un élément parmi un ensemble limité de choix, tel qu'une évaluation réussite/échec ou un score de qualité. Les réponses aux commentaires sont réécrites sous forme d'évaluations sur la trace, prêtes à être utilisées lorsque vous évaluez la qualité ou alignez les juges LLM.
- Attente : une réponse de vérité terrain fournie par le réviseur, telle que la réponse idéale pour une entrée donnée. Les réponses aux attentes sont réécrites en tant qu'attentes : sur la trace, ou sur les attentes de l'enregistrement lorsque l'élément est un enregistrement dataset.
Les questions de feedback ne s’appliquent qu’aux traces. Les enregistrements de dataset ne prennent que des questions d’attente, car un enregistrement contient une seule valeur de vérité terrain par champ. Si vous signalez des enregistrements de dataset dans une file d’attente, assurez-vous qu’elle inclut des questions d’attente.
Formats de réponse
Chaque question utilise un format de réponse :
- Pass / Fail : un bouton bascule à deux choix avec des étiquettes que vous définissez (default à Pass et Fail).
- Catégoriel : un ensemble fixe d'options (jusqu'à 10), en sélection unique ou multiple.
- Numérique : un nombre, avec des limites minimales et maximales facultatives.
- Texte : une réponse en texte libre, avec une longueur maximale facultative.
Marquer des éléments pour examen
Le signalement est la manière dont les éléments entrent dans une file d'attente. Vous pouvez signaler deux types d'éléments : les traces et les enregistrements de dataset . Le point de départ diffère, mais l'expérience d'examen qui suit est identique.
Il existe deux manières de présenter des éléments à un réviseur :
- Signaler à un réviseur : attribuez les éléments sélectionnés à une ou plusieurs personnes, et chacune obtient automatiquement une file d'attente personnelle, sans configuration distincte. La file d'attente personnelle hérite de chaque question de l'expérimentation.
- Ajouter à une file d'attente partagée : envoyez des éléments vers une file d'attente que vous avez créée, qui pose ses propres questions sélectionnées.
Signaler des traces
Depuis l'onglet Traces , sélectionnez les traces que vous souhaitez faire examiner et choisissez Signaler pour examen dans le menu Actions .
Choisissez la destination des traces : une file d'attente existante, un réviseur spécifique ou une nouvelle file d'attente que vous créez sur place.
Signaler des enregistrements de dataset
Depuis l'onglet Datasets , ouvrez un dataset, sélectionnez les enregistrements que vous souhaitez faire réviser et choisissez Flag for review .
Attribuez les enregistrements sélectionnés à un ou plusieurs réviseurs. Chaque réviseur dispose d’une file d’attente personnelle contenant ces enregistrements, afin qu’il puisse y organiser les attentes (réponses de vérité terrain).
Gérer les questions
Sélectionnez Gérer les questions dans l'onglet Reviews tab pour ouvrir la bibliothèque de questions de l'expérimentation, l'endroit unique où vous pouvez créer, modifier et supprimer des questions. Comme les questions se situent au niveau de l'expérimentation plutôt qu'à l'intérieur d'une seule file d'attente, la bibliothèque est partagée : une question peut être réutilisée dans plusieurs files d'attente, et sa modification met à jour toutes les files d'attente qui l'utilisent. Avant de supprimer une question, la bibliothèque indique quelles files d'attente l'utilisent actuellement.
Réviser des éléments en tant que réviseur
Les réviseurs traitent les éléments qui leur sont assignés un par un. La vue de révision ciblée place le contenu de l'élément à gauche et les questions de la file d'attente à droite, avec une barre de progression et des commandes précédent / suivant pour parcourir l'arriéré. Les réviseurs peuvent ouvrir l'élément complet lorsqu'ils ont besoin de plus de contexte. La même interface gère à la fois les traces et les enregistrements de dataset, seul le contenu de gauche diffère.
Lorsqu'un réviseur répond à chaque question, la réponse est enregistrée sur l'élément (en tant qu'évaluation sur une trace, ou en tant qu'attente organisée sur un enregistrement de dataset), de sorte que les résultats sont automatiquement intégrés à vos workflows d'évaluation.
Suivre la progression
Chaque file d'attente répertorie ses éléments avec leur contenu, leur statut d'examen et leur date d'ajout. Filtrez par Examen requis ou Terminé pour voir ce qu'il reste à faire, puis sélectionnez Start review pour débuter.
À mesure que les réviseurs soumettent leurs réponses, les éléments passent de À examiner à Examiné et les comptes de la file d’attente se mettent à jour en temps réel, afin que vous sachiez toujours où en est l’effort d’examen.
Autorisations
L'accès à la file d'attente d'examen est régi par l'autorisation du réviseur sur l' expérimentation à laquelle appartient la file d'attente. Il n'existe pas d'autorisations distinctes par file d'attente.
Vers… | Un réviseur a besoin de… |
|---|---|
Ouvrez une file d'attente et répondez à ses questions | Peut lire sur l'expérimentation (et pour être le réviseur attribué à la file d'attente). |
Signaler des éléments dans une file d'attente (traces ou enregistrements de dataset) | Modification autorisée sur l'expérimentation. |
Créer une file d'attente, ou ajouter ou supprimer des réviseurs | Can Edit sur l'Experimentation (pour une file d'attente que vous possédez) ou Can Manage . |
Supprimer une file d'attente ou retirer ses éléments | Can Manage ou Can Edit sur une file d'attente personnalisée que vous possédez. |
Les réviseurs qui ont uniquement besoin d' effectuer l'examen doivent simplement être assignés à la file d'attente ; la configuration et l'administration des files d'attente nécessitent l'autorisation Peut modifier (ou Peut gérer ) sur l'Experimentation. Tous ces éléments sont appliqués sur le serveur pour chaque action, et l'interface utilisateur masque uniquement les fonctionnalités qu'un réviseur ne peut pas utiliser.
Ressources supplémentaires
- Feedback humain dans MLflow - Aperçu de la manière dont MLflow capture le feedback humain sous forme d'évaluations.
- Capturer les commentaires et les attentes avec les traces existantes - L'approche de l'application Review pour l'étiquetage par des experts.
- Créer et gérer des schémas d'étiquetage - Définissez les questions auxquelles les réviseurs répondent dans le flux d'étiquetage de la Review App.
- Créer et gérer des sessions d'étiquetage - Organisez l'examen expert des traces avec la Review App.