ステップ6. 品質修正を繰り返し実装して評価する

要件

根本原因分析に基づいて、実装および評価する取得または生成のいずれかに対する潜在的な修正を特定しました。
POC アプリケーション (または別のベースラインチェーン) は、同じ実行で保存されたエージェント評価とともに MLflow 実行に記録されます。

このセクションのサンプルコードについては、GitHub リポジトリを参照してください。 ## 期待される結果

指示

すべてのタイプについて、 B_quality_iteration/02_evaluate_fixesノートブックを使用して、結果のチェーンをベースライン構成、POC と比較して評価し、「勝者」を選択します。このチュートリアルでは、最適なエクスペリメントを選択し、それをレビューアプリまたは本番運用に対応したスケーラブルなREST APIにデプロイするのに役立ちます。

B_quality_iteration/02_evaluate_fixesノートブックを開きます。
実装する修正の種類に基づいて、以下を行います。
- データパイプラインの修正については、以下をご覧ください。
  - ステップ 6 (パイプライン) に従います。データパイプラインの修正を実装して新しいデータパイプラインを作成し、結果として得られるMLflow実行の名前を取得します。
  - 実行名をDATA_PIPELINE_FIXES_RUN_NAMES変数に追加します。
- チェーン構成の修正の場合:
  - 02_evaluate_fixesノートブックのChain configurationセクションの指示に従って、チェーン構成の修正をCHAIN_CONFIG_FIXES変数に追加します。
- チェーンコード修正の場合:
  - 変更したチェーンコードファイルを作成し、 B_quality_iteration/chain_code_fixes フォルダに保存します。または、そのフォルダーから提供されているチェーンコード修正の 1 つを選択します。
  - 02_evaluate_fixesノートブックのChain codeセクションの指示に従って、チェーンコードファイルと、 CHAIN_CODE_FIXES変数に必要な追加のチェーン構成を追加します。
Run evaluationセルからノートブックを実行すると、次のことが起こります。
- 各修正を評価します。
- 最高の品質/コスト/レイテンシのメトリクスで修正を決定します。
- 最適なものをレビューアプリと本番運用対応のREST APIにデプロイして、関係者からのフィードバックを取得します。

次のステップ

ステップ 6 (パイプライン) に進みます。データパイプラインの修正を実装します。