o passo 6. Implementar iterativamente & avaliar as correções de qualidade

Requisitos

1. Com base na análise da causa raiz, o senhor identificou possíveis correções para a recuperação ou geração a serem implementadas e avaliadas.

2. Seu aplicativo POC (ou outra cadeia de linha de base) é registrado em um MLflow execução com uma avaliação de avaliação de agente armazenada na mesma execução.

Consulte o repositório do GitHub para obter o código de amostra nesta seção. ## Resultado esperado

Instruções

Para todos os tipos, use o B_quality_iteration/02_evaluate_fixes Notebook para avaliar a cadeia resultante em relação à sua configuração de linha de base, seu POC, e escolha um "vencedor". Este Notebook ajuda o senhor a escolher o experimento vencedor e implantá-lo no aplicativo de revisão ou em um aplicativo escalável e pronto para produção REST API.

1. Abra o arquivo B_quality_iteration/02_evaluate_fixes Notebook.

2. Com base no tipo de correção que o senhor está implementando:

   • Para correções de pipeline de dados:

     • Siga o passo 6 (pipeline). Implemente as correções do pipeline de dados para criar o novo pipeline de dados e obter o nome da execução resultante do MLflow.

     • Adicione o nome da execução à variável DATA_PIPELINE_FIXES_RUN_NAMES.

   • Para correções de configuração de cadeia:

     • Siga as instruções na seção Chain configuration do 02_evaluate_fixes Notebook para adicionar correções de configuração de cadeia à variável CHAIN_CONFIG_FIXES.

   • Para correções de código de cadeia:

     • Crie um arquivo de código de cadeia modificado e salve-o na pasta B_quality_iteration/chain_code_fixes. Como alternativa, selecione uma das correções de código de cadeia fornecidas nessa pasta.

     • Siga as instruções na seção Chain code do 02_evaluate_fixes Notebook para adicionar o arquivo de código da cadeia e qualquer configuração adicional da cadeia necessária à variável CHAIN_CODE_FIXES.

3. O seguinte acontece quando o senhor executa o Notebook a partir da célula Run evaluation:

   • Avalie cada correção.

   • Determine a correção com as melhores métricas de qualidade/custo/latência.

   • Implante a melhor opção no aplicativo Review e em um site pronto para produção REST API para obter feedback das partes interessadas.

Próximo passo

Continuar com o passo 6 (pipeline). Implementar as correções do pipeline de dados.