メインコンテンツまでスキップ

Databricksモデルサービングによるトレーシング

Mosaic AI Agent Framework を通じてMLflow Tracing で計測可能にした生成AI アプリケーションまたはエージェントをデプロイすると、追加の設定なしでMLflow Tracing は自動的に動作します。

自動トレース収集​

デプロイすると、計測可能になっているアプリケーションはトレースを自動的にMLflowエクスペリメントに出力します。 これは以下を意味します：

  • 追加の設定は不要 - コードでMLflow Tracingデコレータ、コンテキストマネージャー、または自動ロギングを使用している場合、トレースは本番運用で自動的にキャプチャされます
  • 開発と本番運用で同じコード - 同じトレーシングインストゥルメンテーションが環境間でシームレスに機能します
  • トレースはMLflowエクスペリメントに表示されます - 本番運用トレースは開発トレースと一緒に保存されるため、簡単に比較できます

本番運用 トレースの表示​

デプロイすると、開発のトレースと同様に、本番運用エージェントからのトレースを MLflow エクスペリメントUIで表示できます。 これらの本番運用トレースは、以下に関する貴重な知見を提供します。

  • 実際のユーザークエリとエージェントの応答 - ユーザーが何を求めているのか、エージェントがどのように応答するかを正確に把握します
  • ユーザーフィードバックから得られる質の高い知見 - 本番運用トレースに添付された評価、コメント、その他のフィードバックを表示
  • エラー率と障害パターン - エージェントがいつ、なぜ失敗したかを特定します
  • 行動パターン - ユーザーがエージェントとどのようにやり取りするかを理解し、改善の機会を特定します
  • レーテンシーとパフォーマンスメトリクス - 本番運用におけるレスポンスタイムとシステムパフォーマンスの監視
  • リソースの使用量とコスト - トークンの消費量と関連するコストを追跡します

本番運用トレースのUI

次のステップ​

これらの推奨アクションとチュートリアルで旅を続けてください。

リファレンスガイド​

このガイドで説明されている概念と機能の詳細なドキュメントをご覧ください。

に最終更新