メインコンテンツまでスキップ
に最終更新

エージェントの可観測性と質とは？

ヒント

コーディングエージェントを使用していますか？

Claude Code、Cursor、VS Code、OpenCodeなどのコーディングエージェントを使用する場合は、MLflowと効果的に連携できるようにスキルをインストールしてください。

Bash
uvx mlflow agent setup

これにより、これらのドキュメント全体でタスクに表示されるコーディングエージェントの tab が設定されます。コーディングエージェントの設定およびMLflow MCP サーバーの設定を参照してください。

AI エージェントのオブザーバビリティと品質は、最初のトレースから本番運用に至るまで、AI エージェントを測定、デバッグ、および改善するためのプラクティスです。Databricks 上では、 MLflow を使用してこれを行います。Databricks 上の MLflow は MLflow そのものです — 同じオープンソース製品ですが、Databricks プラットフォームと管理および統合されているため、トレース、評価、プロンプトは他のデータとともに Unity Catalog に保存されます。

トレースから起動する​

エージェントトレースは、すべてのエージェント実行の完全なレコードをキャプチャします。 トレースには、初期入力と最終出力に加えて、モデル呼び出し、ツール呼び出し、取得などの中間ステップが含まれ、各ステップの入力、出力、レイテンシ、トークン使用量、コストが記録されます。

Tracing is the foundation for agent observability and quality.It lets you analyze how people use your agent and where it spends time and money.More importantly, it gives you the evidence required to improve an agent.With only an input and final response, you cannot tell which intermediate decision caused a failure.With traces, you can inspect every ステップ, diagnose the problem, collect feedback in context, and turn representative failures into evaluation and golden データセット.

トレースを使用して次のことを行います。

  • エージェントの使用状況、レイテンシー、トークン消費量、およびコストを分析します。
  • モデルの呼び出し、取得、およびツール使用における障害をデバッグします。
  • レビュー対象の実行のコンテキストで人間のフィードバックを収集します。
  • 代表的な本番運用での障害から、評価データセットおよびゴールデンデータセットを作成します。
  • 評価を実行し、本番運用で品質をモニタリングします。

品質ループ​

エージェントの改善は1回限りのステップではなく、継続的に実行するループです。1回のパスで1つの問題が修正され、次の問題が表面化します。

エージェント品質ループ：トレース、問題の検出、フィードバックの収集とデータセットのキュレーション、スコアラーの作成、エージェントの修正、評価、そして本番運用のモニタリング — これにより次の問題が表面化します。

  1. エージェントをトレースする。 すべての実行がトレースとしてキャプチャされるようにエージェントを計装します。これは、後続のすべてのステップが依存する証拠となります。
  2. 問題を見つけます。 開発トレースの不具合を発見するか、本番運用のリグレッションを検出します。
  3. フィードバックを収集し、データセットをキュレーションします。 開発者、ドメイン専門家、またはユーザーと一緒に失敗したトレースを確認します。トレースに関するフィードバックを記録して、レビュー対象の実行に関連付けられた状態を維持し、代表的な失敗や既知の良好な例を評価またはゴールデンデータセットに変換します。
  4. スコアラーを記述します。 問題を自動的に検出するスコアラー（LLM ジャッジまたはコードベースのチェック）を定義します。
  5. エージェントを修正 プロンプトまたはエージェントを反復的に改善し、根本原因に対処します。
  6. 修正を評価します。 データセットに対して評価を再実行し、修正が正常に行われたこと、および他の部分に影響を与えていないことを確認します。
  7. 本番運用をモニタリングします。 ライブトラフィックに対してスコアラーを実行することで、問題の再発を防ぎ、次に修正すべき問題を明らかにします。

ジャーニー​

初めての場合は上から開始し、すでに自分の位置がわかっている場合は目的のステージにジャンプしてください。

    • エージェントを計測可能にする
    • すべての入力、ステップ、出力をキャプチャするトレーシングを追加します。トレースは Unity Catalog に保存されます (推奨)。ガバナンスが効いており、SQL でクエリーを実行でき、その他すべてのデータの基盤となります。
    • エージェントの課題の監視と発見
    • Genie Code を使用すれば、UI でトレースを調べたり、SQL を使わずに自然言語で質問したりできます。トレースをクラスター化して、繰り返される障害モードを表面化させ、問題をよりすばやく見つけます。
    • 品質の評価と改善
    • ラン評価を組み込みおよびカスタムスコアラーで実行し、プロンプトとエージェントを反復処理して見つかった問題を修正します。
    • 本番運用でのモニタリング
    • ライブトラフィックを継続的にスコアリングして回帰を捕捉し、ユーザーが気付く前に新しい問題を検出します。

一度に1つのタスクで作業することをお勧めしますか？コーディングエージェントの配線からカスタムLLMジャッジの構築まで、すぐにコピーして使える焦点を絞ったガイドについては、エージェントの可観測性レシピをご覧ください。

次のステップ​

ループを開始する準備はできましたか？エージェントをインストゥルメント化して、最初のトレースをキャプチャします。

このページの見出し