Passo 4: Avaliar a qualidade do POC

fluxo de trabalho com avaliar o passo destacado

Consulte o repositório do GitHub para obter o código de amostra nesta seção.

Tempo previsto: 5 a 60 minutos. O tempo varia de acordo com o número de perguntas em seu conjunto de avaliação. Para 100 perguntas, a avaliação leva aproximadamente 5 minutos.

Visão geral e resultados esperados

Este passo usa o conjunto de avaliação que o senhor acabou de selecionar para avaliar seu aplicativo POC e estabelecer a qualidade, o custo e a latência da linha de base. Os resultados da avaliação são usados pelo próximo passo para identificar a causa raiz de qualquer problema de qualidade.

A avaliação é feita usando o Mosaic AI Agent Evaluation e analisa de forma abrangente todos os aspectos de qualidade, custo e latência descritos na seção de métricas deste livro de receitas.

As métricas agregadas e a avaliação de cada pergunta no conjunto de avaliação são registros em MLflow. Para obter detalhes, consulte Resultados da avaliação.

Requisitos

  • O conjunto de avaliação está disponível.

  • Todos os requisitos dos passos anteriores.

Instruções

  1. Abra o site 05_evaluate_poc_quality Notebook no diretório POC escolhido e clique em executar tudo.

  2. O senhor pode consultar os resultados da avaliação no site Notebook ou usando o site MLflow. Se os resultados atenderem aos seus requisitos de qualidade, o senhor pode pular diretamente para [implantado e monitorado]. Como o aplicativo POC foi desenvolvido no Databricks, ele está pronto para ser implantado em uma API REST escalonável e pronta para produção.

Próximo passo

Usando essa avaliação de linha de base da qualidade do POC, identifique as causas principais de quaisquer problemas de qualidade e corrija esses problemas de forma iterativa para melhorar o aplicativo. Veja o passo 5. Identificar a causa principal dos problemas de qualidade.