Passo 4: Avaliar a qualidade do POC

Consulte o repositório do GitHub para obter o código de amostra nesta seção.

Tempo esperado: 5 - 60 minutos. O tempo varia de acordo com o número de perguntas em seu conjunto de avaliação. Para 100 perguntas, a avaliação leva aproximadamente 5 minutos.

Visão geral e resultado esperado

Este passo usa o conjunto de avaliação que o senhor acabou de selecionar para avaliar seu aplicativo POC e estabelecer a qualidade, o custo e a latência da linha de base. Os resultados da avaliação são usados pelo próximo passo para identificar a causa raiz de qualquer problema de qualidade.

A avaliação é feita usando o Mosaic AI Agent Evaluation e analisa de forma abrangente todos os aspectos de qualidade, custo e latência descritos na seção de métricas deste tutorial.

As métricas agregadas e a avaliação de cada pergunta no conjunto de avaliação são registros em MLflow. Para obter detalhes, consulte Saídas de avaliação.

Requisitos

• O conjunto de avaliação está disponível.

• Todos os requisitos dos passos anteriores.

Instruções

1. Abra o 05_evaluate_poc_quality Notebook no diretório POC escolhido e clique em executar tudo.

2. Inspecione os resultados da avaliação no Notebook ou usando o site MLflow. Se os resultados atenderem aos seus requisitos de qualidade, o senhor pode pular diretamente para [implantado e monitorado]. Como o aplicativo POC foi desenvolvido no Databricks, ele está pronto para ser implantado em uma API REST escalonável e pronta para produção.

Próximo passo

Usando essa avaliação básica da qualidade do POC, identifique as causas principais de quaisquer problemas de qualidade e corrija esses problemas de forma iterativa para melhorar o aplicativo. Veja o passo 5. Identificar a causa principal dos problemas de qualidade.

< Anterior: o passo 3. selecionar um conjunto de avaliações

Próximo: o passo 5 Identificar as causas principais dos problemas de qualidade >