Criação de juízes LLM personalizados
Embora os juízes LLM integrados do MLflow ofereçam excelentes pontos de partida para dimensões de qualidade comuns em aplicativos mais simples, você precisará criar juízes LLM personalizados conforme seu aplicativo se torna mais complexo e ajustar seus critérios de avaliação para atender aos requisitos comerciais específicos e diferenciados do seu caso de uso e se alinhar ao julgamento do seu especialista no domínio. O MLflow oferece maneiras robustas e flexíveis de criar juízes de LLM personalizados, adaptados a esses requisitos exclusivos.
Juízes de prompt personalizados
- Melhor para: Avaliações complexas e diferenciadas, nas quais você precisa de controle total sobre o prompt do juiz ou precisa que o juiz especifique vários valores de saída, por exemplo, "ótimo", "ok", "ruim".
- Como funciona: você fornece um prompt padrão que define seus critérios de avaliação e tem espaços reservados para campos específicos no rastreamento do seu aplicativo. Você define as opções de saída que o juiz pode selecionar. Um LLM então seleciona a escolha de saída apropriada e fornece uma justificativa para sua seleção.
Comece com juízes de prompts personalizados
Próximas etapas
Continue sua jornada com estas ações recomendadas e o tutorial.
- Crie diretrizes para juízes - Defina critérios de avaliação usando regras de linguagem natural (recomendado)
- Crie juízes de prompts personalizados - Crie juízes complexos com prompts personalizados e opções de saída
- juízes de execução em produção - implantou seus juízes personalizados para monitoramento contínuo
Guia de referência
Explore a documentação detalhada dos conceitos e recursos mencionados neste guia.
- Juízes do LLM - Entenda como os juízes do LLM trabalham e sua arquitetura
- Juízes de diretrizes - Mergulho profundo na avaliação baseada em diretrizes
- Juízes com prompts personalizados - Detalhes técnicos sobre juízes com prompts personalizados