クイックスタート
これらのクイックスタート ガイドに従って、生成AI アプリで MLflow の使用を開始します。
1. 環境をセットアップする
環境のセットアップに関するクイックスタートに従って、MLflow をインストールし、開発環境をMLflowエクスペリメントに接続します。
2. MLflow Tracingを使用してアプリケーションを計測可能にする
MLflow Tracing は、プロンプト、取得、ツール呼び出しなど、実行フロー全体をキャプチャすることで、生成AI アプリケーションのデバッグと反復処理を支援します。 これにより、アプリケーションの品質、コスト、およびレイテンシをモニタリングし、改善することができます。
開発環境に基づいて、以下の適切なクイックスタートに従ってください。
2. アプリケーションの品質を評価する
MLflow は、評価を開発ワークフローに直接埋め込むことで、生成AI アプリケーションの品質を反復的に改善することを可能にします。プロンプト、モデル、またはアプリケーションロジックへの変更を、LLMベースのスコアラーとカスタムスコアラーの mlflow.genai.evaluate() を使用して体系的にテストします。
3. 人間によるフィードバックを収集する
ドメインの専門家とエンドユーザーのフィードバックをキャプチャすることで人間の知見を取り入れ、望ましいアプリケーションの動作を理解し、カスタム LLM-judgeメトリクスを専門家の判断に合わせます。
次のステップ
これらの推奨アクションとチュートリアルで旅を続けてください。
- アプリのデバッグと監視 - トレースを使用してアプリの動作をデバッグおよび理解する方法を学習します
- アプリの評価と改善 - 評価手法と品質改善について深く掘り下げます
リファレンスガイド
このガイドで説明されている概念と機能の詳細なドキュメントをご覧ください。
- トレースの概念 - MLflow Tracingの基本を理解する
- 評価の概念 - 採点者、審査員、評価方法について学びます
- MLflowデータモデル - エクスペリメント、トレース、実行を詳細に調査