レイクハウスモニタリング for 生成AIとは?
ベータ版
この機能は ベータ版です。
このページでは、生成AIのレイクハウスモニタリングを使用して、生成AI アプリを監視する方法について説明します。 レイクハウスモニタリングはエージェント評価と緊密に統合されているため、オフライン評価とオンラインモニタリングで同じ評価設定(LLMジャッジ と カスタムメトリクス)を使用できます。
Mosaic AI Agent Framework を使用してデプロイされた AI 生成アプリ、または Databricks の外部にデプロイされた AI 生成アプリを監視できます。
Lake House Monitoring for 生成AI は、 Mosaic AI Agent Evaluation AI Judgeを使用して、ボリューム、レイテンシー、エラー、コストなどの運用メトリクスと、正確性やガイドラインの遵守などの品質メトリクスを追跡するのに役立ちます。
製品概要
生成AI向けレイクハウスモニタリングは、Open Telemetryに基づく生成AIオブザーバビリティのオープンスタンダードである MLflow Tracingを使用して、生成AIアプリから本番運用ログを計測および取得します。 モニタリングを使用するには、まず生成AI アプリを MLflow Tracingで計測します。
モニタリングは、以下の目的で設計されています。
-
本番運用エージェントの品質とパフォーマンス(コスト、レイテンシ)の問題を特定するのに役立ちます
- LLM審査員が本番運用エージェントの品質を自動評価します
- 本番運用エージェントの品質に関するメトリクスを含むダッシュボードを表示する
- 個々のトレース(ユーザーリクエストなど)を確認する
-
パフォーマンスの低いトレースを開発ループに転送して、特定された問題の修正を繰り返しテストします
次の図は、モニタリングによって可能になるワークフローを示しています。
このワークフローは、ベータテスターが使用する本番運用前のアプリにも適用できます。
必要条件
Mosiac AI Agent Framework を使用してデプロイされたアプリを監視するには:
- サーバレス ジョブを有効にする必要があります。
- LLM Judge メトリクスを使用するには、パートナー主導の AI 支援機能 を有効にする必要があります。レイテンシなどの他のメトリクスは、この設定に関係なくサポートされます。
制限
- オンラインモニタリングは現在 ベータ版です。 ベータ製品を使用できるのは、特定のワークスペースのみです。
- 次の機能は、現在、パブリック ベータ リリースでは使用できません。
- ユーザーフィードバックのロギング
- カスタムメトリクス
これらの機能を使用する必要がある場合、またはワークスペースが現在モニタリングベータ版でアクティブ化されていない場合は、Databricks アカウント担当者に連絡してアクセスしてください。
モニタリングの設定
Agent モニタリングはMosaic AI Agent Framework を使用してデプロイされたエージェントと、AI の外部にデプロイされたDatabricks 生成アプリをサポートします。実行する手順は、監視する必要があるアプリのタイプによって異なります。詳細については、以下を参照してください。
- Mosaic AI Agent Framework を使用してデプロイされたアプリのモニタリングを設定するには、「Agent Framework を使用してデプロイされたアプリのモニタリング」を参照してください。
- Databricksの外部にデプロイされたアプリのモニタリングを設定するには、「Databricksの外部にデプロイされたアプリのモニタリング」を参照してください。