Coletar feedback humano estruturado com filas de revisão
Beta
As filas de revisão estão em Beta. Um administrador do workspace os ativa em Gerenciar prévias habilitando Filas de revisão do MLflow . Se você não visualizar as filas de revisão em seu workspace, entre em contato com sua equipe de conta do Databricks.
Forneça feedback humano sobre os resultados de AI usando filas de revisão para melhorar a qualidade da AI. As filas de revisão oferecem aos revisores um backlog sequencial e estruturado de perguntas para responder, para que o feedback permaneça consistente à medida que o número de itens aumenta.
O Databricks recomenda filas de revisão para novos fluxos de trabalho de revisão humana. Eles reúnem as perguntas estruturadas que você definiria com esquemas de etiquetagem e a coordenação de revisores das sessões de etiquetagem em uma experiência de revisão única e focada.
Você pode revisar dois tipos de itens:
- Rastreamentos : as solicitações e respostas que seu aplicativo produziu.
- Registros do dataset : as entradas e expectativas em um dataset de avaliação, por exemplo, para que um humano faça a curadoria de respostas de referência (ground-truth).
Pré-requisitos
- Um experimento MLflow com os itens que você deseja revisar: rastreamentos registrados a partir do seu aplicativo de AI, ou registros em um dataset de avaliação.
- Can Edit no experimento para sinalizar itens e criar filas. Os revisores que apenas respondem a perguntas precisam de Can Read e de serem atribuídos à fila. Consulte Permissões para a análise completa.
- Os revisores que não têm acesso ao workspace devem ser provisionados em sua account Databricks. Consulte Gerenciamento de usuários e grupos.
Criar uma fila de revisão
Todo experimento tem uma tab Revisões . Quando ainda não existem filas, ele mostra um estado vazio com um botão Nova fila .
Para criar uma fila:
- Abra a tab Reviews em seu experimento e clique em New queue .
- Dê um nome à fila e atribua um ou mais revisores.
- Selecione as perguntas que os revisores devem responder. Uma fila usa um subconjunto das perguntas do experimento, portanto, filas diferentes podem solicitar coisas diferentes. Uma prévia em tempo real mostra exatamente o que cada revisor verá.
Definir as perguntas
Perguntas são o que você pede aos revisores para responder sobre cada item. Elas são definidas uma vez no nível do experimento e compartilhadas entre as filas: as perguntas são objetos separados das filas, e cada fila seleciona o subconjunto de que precisa. Editar uma pergunta atualiza-a em todos os locais onde é utilizada.
Uma pergunta de revisão tem:
- Título : o prompt curto que o revisor vê (por exemplo, "A resposta está factualmente correta?").
- Instrução (opcional): orientação mais longa exibida ao lado da pergunta.
- Tipo : se a pergunta captura feedback ou uma expectativa . Consulte Feedback vs. expectativa.
- Formato de resposta : como o revisor responde. Consulte Formatos de resposta.
- Comentário (opcional): permite que os revisores adicionem um comentário de texto livre ao lado da sua resposta.
Feedback vs. expectativa
Cada pergunta é uma pergunta de feedback ou uma pergunta de expectativa . Esta escolha determina o que o revisor fornece e onde a sua resposta é escrita:
- Feedback : o julgamento do revisor sobre um item em um conjunto limitado de opções, como uma classificação de aprovação/reprovação ou uma pontuação de qualidade. As respostas de feedback são gravadas como avaliações no rastreamento, prontas para uso quando você avalia a qualidade ou alinha os juízes de LLM.
- Expectativa : uma resposta de verdade fundamental fornecida pelo revisor, como a resposta ideal para uma determinada entrada. As respostas de expectativa são gravadas como expectativas: no rastreamento ou nas expectativas do registro quando o item é um registro de dataset.
Perguntas de feedback aplicam-se apenas a rastreamentos. Registros de dataset aceitam apenas perguntas de expectativa, porque um registro contém um único valor de verdade fundamental por campo. Se você sinalizar registros de dataset para uma fila, certifique-se de que ela inclua perguntas de expectativa.
Formatos de resposta
Cada pergunta usa um formato de resposta:
- Passar / Falhar : um botão de alternância de duas opções com rótulos definidos por você (o default é Passar e Falhar).
- Categórico : um conjunto fixo de opções (até 10), como seleção única ou seleção múltipla.
- Numérico : um número, com limites mínimo e máximo opcionais.
- Texto : uma resposta de texto livre, com um comprimento máximo opcional.
Sinalizar itens para revisão
Sinalizar é a forma como os itens entram em uma fila. Você pode sinalizar dois tipos de itens: rastreamentos e registros de dataset . O ponto de partida difere, mas a experiência de revisão que se segue é idêntica.
Existem duas maneiras de apresentar itens a um revisor:
- Sinalizar para um revisor : atribua itens selecionados a uma ou mais pessoas, e cada uma receberá uma fila pessoal automaticamente, sem necessidade de configuração separada. A fila pessoal herda todas as perguntas do experimento.
- Adicionar a uma fila compartilhada : envie itens para uma fila que você criou, a qual solicita suas próprias perguntas selecionadas.
Sinalizar rastreamentos
Na tab Rastreamentos , selecione os rastreamentos que deseja revisar e escolha Sinalizar para revisão no menu Ações .
Escolha para onde os rastreamentos vão: uma fila existente, um revisor específico ou uma nova fila que você cria na hora.
Sinalizar registros do dataset
Na tab Datasets , abra um dataset, selecione os registros que deseja revisar e escolha Marcar para revisão .
Atribua os registros selecionados a um ou mais revisores. Cada revisor recebe uma fila pessoal contendo esses registros, para que possam curar expectativas (respostas de verdade fundamental) para eles.
Gerenciar perguntas
Selecione Gerenciar perguntas na tab Revisões para abrir a biblioteca de perguntas do experimento, o único local onde você cria, edita e exclui perguntas. Como as perguntas residem no nível do experimento em vez de dentro de uma única fila, a biblioteca é compartilhada: uma pergunta pode ser reutilizada em várias filas, e editá-la atualiza todas as filas que a utilizam. Antes de excluir uma pergunta, a biblioteca mostra quais filas a utilizam atualmente.
Revisar itens como revisor
Os revisores trabalham em seus itens atribuídos, um de cada vez. A view de revisão focada coloca o conteúdo do item à esquerda e as perguntas da fila à direita, com uma barra de progresso e controles de anterior/próximo para percorrer o backlog. Os revisores podem abrir o item completo quando precisarem de mais contexto. A mesma superfície lida com rastreamentos e registros de dataset, portanto, apenas o conteúdo à esquerda difere.
À medida que um revisor responde a cada pergunta, a resposta é salva no item (como uma avaliação em um rastreamento ou como uma expectativa curada em um registro de dataset), para que os resultados fluam automaticamente para seus fluxos de trabalho de avaliação.
Monitorar progresso
Cada fila lista seus itens com seu conteúdo, status de revisão e quando foram adicionados. Filtre por Precisa de revisão ou Concluído para ver o que resta e selecione Começar a revisar para iniciar.
À medida que os revisores enviam respostas, os itens mudam de Precisa de revisão para Revisado e as contagens da fila são atualizadas em tempo real, para que você sempre saiba em que estágio está o esforço de revisão.
Permissões
O acesso à fila de revisão é regido pela permissão do revisor no experimento que possui a fila. Não há concessões separadas por fila.
Para… | Um revisor precisa de… |
|---|---|
Abra uma fila e responda às suas perguntas | Pode ler no experimento (e ser o revisor atribuído à fila). |
Marcar itens em uma fila (rastreamentos ou registros de dataset) | Pode editar no experimento. |
Criar uma fila, ou adicionar ou remover revisores | Pode Editar no experimento (para uma fila que você possui) ou Pode Gerenciar . |
Excluir uma fila ou remover seus itens | Pode Gerenciar ou Pode Editar em uma fila personalizada que você possui. |
Os revisores que precisam apenas fazer a revisão só precisam ser atribuídos à fila; configurar e administrar filas requer a permissão Can Edit (ou Can Manage ) no experimento. Todas essas opções são aplicadas no servidor para cada ação, e a interface do usuário apenas oculta as funcionalidades que um revisor não pode usar.
Outros recursos
- Feedback humano no MLflow - Visão geral de como o MLflow captura feedback humano como avaliações.
- Capturar feedback e expectativas com rastreamentos existentes - A abordagem do aplicativo Review para rotulagem especializada.
- Criar e gerenciar esquemas de etiquetagem - Defina as perguntas que os revisores respondem no fluxo de etiquetagem do Review App.
- Criar e gerenciar sessões de etiquetagem - Organize a revisão especializada de rastreamentos com o Review App.