Passo 4: Avaliar a qualidade do POC
![fluxo de trabalho com avaliar o passo destacado](../../_images/workflow-baseline.png)
Consulte o repositório do GitHub para obter o código de amostra nesta seção.
Tempo previsto: 5 a 60 minutos. O tempo varia de acordo com o número de perguntas em seu conjunto de avaliação. Para 100 perguntas, a avaliação leva aproximadamente 5 minutos.
Visão geral e resultados esperados
Este passo usa o conjunto de avaliação que o senhor acabou de selecionar para avaliar seu aplicativo POC e estabelecer a qualidade, o custo e a latência da linha de base. Os resultados da avaliação são usados pelo próximo passo para identificar a causa raiz de qualquer problema de qualidade.
A avaliação é feita usando o Mosaic AI Agent Evaluation e analisa de forma abrangente todos os aspectos de qualidade, custo e latência descritos na seção de métricas deste livro de receitas.
As métricas agregadas e a avaliação de cada pergunta no conjunto de avaliação são registros em MLflow. Para obter detalhes, consulte Resultados da avaliação.
Instruções
Abra o site
05_evaluate_poc_quality
Notebook no diretório POC escolhido e clique em executar tudo.O senhor pode consultar os resultados da avaliação no site Notebook ou usando o site MLflow. Se os resultados atenderem aos seus requisitos de qualidade, o senhor pode pular diretamente para [implantado e monitorado]. Como o aplicativo POC foi desenvolvido no Databricks, ele está pronto para ser implantado em uma API REST escalonável e pronta para produção.
Próximo passo
Usando essa avaliação de linha de base da qualidade do POC, identifique as causas principais de quaisquer problemas de qualidade e corrija esses problemas de forma iterativa para melhorar o aplicativo. Veja o passo 5. Identificar a causa principal dos problemas de qualidade.