MLflow プロンプト最適化 (ベータ)
ベータ版
この機能は現在 ベータ版です。
MLflow のプロンプト最適化機能 mlflow.genai.optimize_prompt() を使用すると、データドリブンなアプローチを使用してプロンプトを自動的に改善できます。この API は、既存のプロンプトを高度な最適化アルゴリズムと統合します。現在、API は DSPy の MIPROv2 アルゴリズムをサポートしています。この強力な機能は、 MLflowのプロンプト レジストリ、トレース、および評価機能とシームレスに連携して、生成AI アプリケーションのプロンプト パフォーマンスを向上させます。
主な利点
-
統一インターフェイス
フレームワークに依存しない標準化されたAPIを通じて、強力なプロンプト最適化手法にアクセスできます。 -
迅速な管理
MLflowプロンプトレジストリとのシームレスな統合により、バージョン管理、リネージ追跡、再利用性を実現します。 -
データセットの作成
MLflow のトレースおよび評価機能と組み合わせることで、アプリケーション トレースから効率的なデータセットを作成できます。 -
総合評価
Databricks の評価インフラストラクチャとカスタム スコアラーを使用して、プロンプトを評価および改善します。
ワークフローの概要
プロンプト最適化ワークフローは、次の 4 つの主要なステップで構成されています。
- トレース収集 : 生成AI アプリケーションから実行トレースを収集します
- データセットの作成 : MLflow トレースから評価データセットを作成
- データラベリング :データセット内のラベルを確認および絞り込む
- プロンプト最適化 : 最適化プロセスを実行します
ノートブックの例
この例では、 mlflow.genai.optimize_prompt() API を使用してプロンプトを最適化するためのエンドツーエンドのワークフロー (トレース収集、データセットの作成、評価メトリクスの定義など) を示しています。
プロンプト最適化ノートブック
次のステップ
API の詳細については、プロンプトの最適化 (試験段階)を参照してください。
生成AI アプリケーションのトレースと評価の詳細については、次の記事を参照してください。