MLflow Tracing - GenAI オブザーバビリティ
MLflow Tracingは、複雑なエージェントベースのシステムを含むGenAIアプリケーションに**エンドツーエンドの可観測性**を提供します。入力、出力、中間ステップ、およびメタデータを記録するため、アプリがどのように動作するかを正確に確認できます。
トレースを使用すると、次のことができます。
- アプリケーションのデバッグと理解
- パフォーマンスの監視とコストの最適化
- 本番運用アプリケーションを監視する
- 高品質なアプリケーションのパフォーマンスを評価し、改善します。
- 監査可能性およびコンプライアンスを検証する。
- トレースを多くの一般的なサードパーティフレームワークと統合する
- Genie Code で自然言語を使用してトレースデータを分析、デバッグ、探索します
トレースが保存される場所
トレースを保存するには、2つのオプションがあります。Databricksは、新規および本番運用ワークロードのトレースをUnity Catalogに保存することを推奨しています。どのオプションを選択してトレースを保存するかにかかわらず、MLflowエクスペリメントはトレースを表示するためのUIエントリポイントです。
- **Unity Catalogに保存されたトレース**（推奨）：エクスペリメントをUnity Catalogのトレース場所に指定すると、トレースがOpenTelemetry (OTel) のDeltaテーブルに格納されます。ストレージの容量制限はなく、トレースはあらゆるDeltaテーブルと同様にSQLでクエリ可能であり、Unity Catalogがアクセスを管理します。
- エクスペリメントに保存されたトレース ：MLflowはトレースをエクスペリメント自体に保存しますが、MLflowはエクスペリメントごとに100,000トレースまでの保存を上限としており、このオプションは最新のMLflow機能と互換性がない可能性があります。
機能 | Unity Catalogに保存されているトレース | エクスペリメントに保存されたトレース |
|---|---|---|
ストレージ制限 | 無制限 | 100,000トレース/エクスペリメント |
クエリーオプション | MLflow UIおよびPython SDK、さらにSQL、Genie、AI/BIダッシュボード、およびSparkベースのあらゆるツール | MLflow UIおよびPython SDK |
ガバナンス | Unity Catalogスキーマおよびテーブル権限 | エクスペリメントレベルのアクセス制御 |
OpenTelemetry互換性 | OTel形式で保存されたトレースは、他のOTelクライアントおよびツールと互換性があります。 | サポートされていない |
その他のリソース
- 10 分間のトレース デモ- Databricks でトレースを開始します。
- アプリを計測可能に - 自動トレースと手動トレースのアプローチから選択します
- エージェントの可観測性と評価のためのGenie Code：トレースを分析し、エラーをトラブルシューティングし、自然言語を使用して評価データを探索します。