Genie Agentをテストおよび監視する

現実世界の質問でGenie Agentをテストし、生成されたSQLと視覚化を確認し、Genieが間違った場合は応答を編集し、エージェントの使用状況とユーザーのフィードバックをモニタリングして、データと質問が進化してもエージェントの正確性を維持できるようにします。ベンチマークを使用して、大規模にレスポンスの正確性を評価します。

注記

Genieエージェントは以前、Genie Spaceとして知られていました。

Genie Agent をテストします。

ほとんどのユーザーのやり取りはチャットウィンドウで行われます。エージェントが意図したとおりに機能しているかを知る最善の方法は、ビジネスユーザーが尋ねると予想される現実的な質問でテストすることです。

エージェント設定で構成されたサンプル質問は、チャットウィンドウに表示されます。Genieは、エージェントのコンテキストに基づいてサンプルの質問を生成することもでき、ユーザーがデータの探索を開始するのに役立ちます。ユーザーは、サンプルの質問をクリックするか、画面下部のテキストフィールドに独自の質問を入力できます。

応答はテキストフィールドの上に表示されます。ユーザーが質問を入力すると、チャット履歴に保存されます。

新しい会話を開始するには:

1. 新しいチャット をクリックして、新しいチャットを起動してください。 をクリックして、以前の会話を開いてください。
2. 質問する... テキスト入力フィールドに質問を入力します。

応答をレビュー

回答は通常、質問に対する自然言語の回答と、関連する結果セットを示すテーブルとして提供されます。Genie は、視覚化によって応答の明確さが向上する可能性があることを検出すると、視覚化も返します。正確なレスポンスの構造は、質問によって異なります。質問に回答するためにSQLクエリーが生成された場合、それは回答に含まれます。

注記

他の大規模言語モデル (LLM) と同様に、Genie は非決定論的な動作を示すことがあります。つまり、同じプロンプトを複数回送信すると、異なる出力が表示される場合があります。Genie が学習できる SQL クエリの例を提供することで、Genie の一貫性を高めることができます。SQL クエリと関数の例の追加を参照してください。

応答フィードバック

各応答は、ユーザーに これは正しいですか? と回答するように求めます。ユーザーは、次のいずれかの方法で応答できます。

• **はい：** 回答が正確であると確認します。

• 修正: 応答を不正解としてフラグを立てます。ユーザーは一般的な問題から選択するか、独自の解説を入力できます。その後、次の操作を実行できます:。

  • 送信および再試行 をクリックし、提供されたフィードバックを使用して応答を再生成してください。
  • 送信 をクリックして、応答を再生成せずにフィードバックを送信します。

• レビューをリクエスト： 応答を手動でレビューするようフラグを立てます。ユーザーは、追加のコンテキストを提供するためにオプションのコメントを追加できます。

エディターは、Genieインターフェイスでフィードバックとフラグが付けられた応答を表示できます。Genie Agentの動作は、ユーザーフィードバックのみでは変更されません。フィードバックを使用して、改善の機会を特定するか、ユーザーの質問に直接応答する必要があります。Databricksでは、このメカニズムを使用して、エージェントに関するフィードバックを提供するようユーザーに推奨しています。

ビジネスユーザーは、レビュー用にマークした質問の更新を、自分の モニタリング ページで閲覧できます。Genie Agentに対して少なくともCAN MANAGE権限を持つユーザーは、特定のやり取りをレビューし、リクエストにコメントし、応答を確認または修正できます。モニタリングページで、フィードバックやレビューリクエストにアクセスできます。そのフィードバックを使用して、応答を調整し、エージェントを反復処理できます。エージェントのモニタリングを参照してください。

その他のレスポンスアクション

生成されたSQLを含む回答の場合、追加のオプションで返されたデータを操作できます。

• CSVをコピー: Agentユーザーは、最大約1GBの結果データをCSVとしてdownloadできます。最終的なファイルdownloadサイズは、最終的なファイルdownloadよりも前のステップに1GBの制限が適用されるため、1GBよりわずかに大きい場合と小さい場合があります。結果をdownloadするには、応答のdownloadアイコンをクリックしてください。

• コードを表示: [ コードの表示 ] をクリックして、生成されたクエリを表示します。これは、信頼性の低い応答のトラブルシューティングに役立ちます。クエリの編集と保存を参照してください。

• ケバブメニュー： 次のアクションにアクセスします。

  • CSVをコピー : 応答CSVをクリップボードにコピーします。
  • 指示として追加します。 類似の質問への回答方法をGenieに教えるのに役立つ可能性のあるインタラクションについては、 指示として追加 をクリックします。これにより、サンプルSQLクエリを保存するためのUIが開き、質問と生成されたSQLが入力されます。例をそのままにしておくことも、編集して保存して変更を加えることもできます。SQL クエリと関数の例の追加を参照してください。
  • ベンチマークとして追加 ：質問をベンチマーク質問として追加します。ベンチマークを参照してください。
  • データを更新 ：以前に生成されたクエリーを実行して、データを更新します。
  • レスポンスを再生成 : 質問を再送信して、Genie にレスポンスを再生成させます。

クエリーの編集と保存

GenieのSQLクエリーは、正確性を確認し、必要に応じて編集できます。Genie Agentの作成者は通常、Genieが誤った回答を生成していることを認識できるドメインとデータを知っています。多くの場合、生成されたSQLクエリーを少し手動で調整するだけでエラーを修正できます。 生成されたコードを表示 をクリックして、クエリーを検査し、あらゆる応答に対して生成されたSQLを表示します。

Genie AgentでCAN EDIT以上の権限がある場合、生成されたSQLステートメントを編集して修正できます。修正が完了したら、クエリーを実行してください。その後、将来Genieが回答する方法を教えるための指示として保存できます。編集したクエリーを保存するには、 指示として追加 をクリックします。

Genie Codeで応答をデバッグする

Genieが誤った回答を返した場合は、Genie Codeを使用して問題を診断し、エージェントのコンテキストを改善してください：

1. 応答からGenie Codeを開きます。
2. 問題と望ましい動作を記述してください。
3. Genie Code が提案するコンテキストの変更を確認し、保持したいものを承認してください。

プロンプト

Genie Code にこれを実行するように指示します:

The Genie Agent is using calendar quarters instead of our fiscal calendar. Update its context to use our fiscal quarters: Q1 is February through April, Q2 is May through July, Q3 is August through October, and Q4 is November through January.

会話からセマンティックコンテキストを保存するためにGenie Codeを使用することもできます。ユーザーが新しい用語を導入したり、Genieの動作を修正したりした後で、Genie Codeに学習したことを取り込むよう依頼してください。各提案を確認し、エージェントに追加したいコンテキストを承認します。

エージェントを監視してください。

Genie Agentは、データチームとビジネスユーザー間の長期的なコラボレーションツールと考えることができます。一度限りのデプロイメントとして機能するのではなく、時間をかけて知識を蓄積します。ユーザーが新しい質問をするにつれて、カバレッジと精度を向上させるためにエージェントを調整できます。

**Monitor**タブを使用して、個々の質問と応答を確認し、ユーザーフィードバックを表示し、レビューのためにフラグが付けられた応答を特定します。

モニタリング tab には、エージェントで尋ねられたすべての質問と回答が表示されます。質問は、時間、評価、ユーザー、またはステータスでフィルタリングできます。エージェントをモニタリングすることで、CAN MANAGE 権限を持つユーザーは、ビジネスユーザーから寄せられたクエリー、および Genie Agent がどのように応答したかを積極的に理解することができます。

Genieが苦手な質問を特定することは、Genie Agentを具体的な指示で更新し、その回答を改善するのに役立ちます。質問をクリックすると、質問と回答のテキストが開き、チャットスレッド全体が表示されます。

使用状況と傾向を確認

週間メッセージ量、アクティブユーザー、高評価/低評価のフィードバックを確認するには、 モニタリング tabの 週間ダイジェスト セクションを使用します。上位の使用傾向と一般的な問題を特定するには、 スペース使用状況の分析 をクリックします。これによりGenie Codeが起動し、過去7日間のユーザーメッセージ、フィードバック、問題点をレビューし、一般的なトピック、繰り返される問題、および提案されたコンテキストの改善点について報告します。応答には、Genie Agent内の関連する会話にLinkする引用が含まれています。引用をクリックすると、Genie Codeスレッドで会話を直接開くことができます。

品質について会話を確認します

備考

ベータ版

この機能はベータ版です。これを使用するには、ワークスペース管理者が **プレビュー** ページから **Genie Chat Sharing** をオンにする必要があります。Databricksのプレビューを管理するを参照してください。

Genie Chat共有 により、Agent管理者はビジネスユーザーがGenie Agentと行った完全な会話を確認できます。会話が スペース管理者によるレビュー可能 に設定されている場合、CAN MANAGE権限を持つユーザーはモニタリングtabから会話を開いて完全なやり取りを確認できます。これにより、Genieの応答の品質を評価し、ユーザーフィードバックに対応し、追加の指示やサンプルクエリーによって精度が向上する領域を特定できます。 非公開 に設定された会話の場合、Agent管理者はモニタリングtabでユーザープロンプトを確認できますが、完全な会話や結果を表示することはできません。詳細については、会話を共有を参照してください。

注記

ベータ版が有効化される前に作成された会話は**非公開**のままです。有効化された後に作成された会話は、defaultで スペース管理者によるレビュー可能 となります。

会話を削除します

Genie Agent の CAN MANAGE 権限を持つユーザーは、モニタリングページからエージェント内の任意の会話を完全に削除できます。これにより、すべてのユーザーの会話とメッセージが削除されます。

1. Genie Agentを開いて、 tab をクリックします。
2. 会話をクリックして、会話ドロワーを開きます。
3. 会話を削除 をクリックします。
4. 確認ダイアログで、 削除 をクリックして会話を完全に削除するか、 キャンセル をクリックして削除せずにダイアログを閉じます。

ベンチマーク

ベンチマークを使用すると、Genieの全体的な応答精度を評価するために実行できる一連のテスト質問を作成できます。最も頻繁に尋ねられるユーザーの質問をカバーする適切に設計されたベンチマークセットは、Genie Agentを改良する際にその精度を評価するのに役立ちます。各Genie Agentは最大500のベンチマーク質問を含めることができます。

ベンチマークの質問は、新しい会話として実行されます。それらは、スレッド化されたGenieの会話と同じコンテキストを持ちません。各質問は、提供されたSQLとSQL関数の例を含め、エージェントで定義された指示を使用して新しいクエリーとして処理されます。

ベンチマークの質問は2つのモードをサポートしています：

• Chat mode : defaultモードです。Genieは、提供されたSQL回答と自身のSQL生成結果を比較することで、精度を評価します。
• エージェントモード ：Genieのエージェントモードと同じ多段階推論を使用してベンチマークの質問を実行します。LLMジャッジが回答を採点します。グレーディングをガイドするために、オプションの評価ノートを提供できます。

ベンチマークの質問を追加

ベンチマークの質問は、ユーザーが尋ねる一般的な質問のさまざまな言い回しを反映する必要があります。それらを使用して、Genie の応答における質問の言い回しのバリエーションや異なる質問形式を確認できます。

ベンチマークの質問を作成する際、オプションで、結果セットが正解となるSQLクエリーを含めることができます。ベンチマークのラン中、精度はSQLクエリーの結果セットとGenieによって生成された結果セットを比較することで評価されます。Unity Catalog SQL関数をベンチマークのゴールドスタンダードの回答として使用することもできます。

ベンチマーク質問を追加するには：

1. Genie Agentの上部にある**[ベンチマーク]**をクリックします。

2. ベンチマークを追加 をクリックします。

3. [質問] フィールドに、テストするベンチマークの質問を入力します。

4. モードを選択してください： チャット または エージェント 。メッセージは チャット 、または Genie Agent に送信できます。

   • チャットモード : Genieは、提供するSQL回答と独自の結果を比較して精度を評価します。
   • エージェントモード ：Genieは多段階推論を使用して質問に回答します。LLMジャッジが応答を評価します。

5. （チャットモードのみ）質問に回答する SQL クエリーを提供してください。Unity Catalog SQL関数を含め、 SQL Answer ボックスに独自のクエリーを入力できます。または、 SQLを生成 をクリックして、GenieにSQLクエリーを作成してもらうこともできます。入力した質問に正確に回答する SQL ステートメントを使用してください。

注記

このステップは推奨されます。この例のSQLステートメントを含む質問のみ、精度が自動的に評価されます。 SQL 回答 を含まない質問は、採点するには手動での確認が必要です。 SQL を生成 ボタンを使用する場合、ステートメントを確認して、質問に正確に回答していることを確認してください。

6. （エージェントモードのみ、オプション）**評価ノート**フィールドに、正しい回答または予想されるコンテンツに関するガイダンスを入力します。Genie は評価メモを LLM ジャッジに渡します。この注記は、エージェントモードが生成するテキストレポート内の予期されるコンテンツを参照できます。

7. （チャットモードのみ、オプション） ラン をクリックしてクエリーを実行し、結果を表示します。

8. 編集が完了したら、 ベンチマークを追加 をクリックします。

9. 保存後に質問を更新するには、 の鉛筆アイコンをクリックして、 質問を更新 ダイアログを開きます。

代替の質問の言い回しをテストするためにベンチマークを使用します

Genie Agentの精度を評価する際は、現実的なシナリオを反映するようにテストを構成することが重要です。ユーザーは同じ質問を異なる方法で尋ねる場合があります。Databricks では、精度を完全に評価するために、同じ質問の複数の言い回しを追加し、ベンチマーク テストで同じ例の SQL を使用することをお勧めします。ほとんどのGenie Agentには、同じ質問の2～4つの言い回しを含める必要があります。

ベンチマーク質問の実行

Genie Agentで少なくともCAN EDIT権限を持つユーザーは、いつでもベンチマーク評価を実行できます。すべてのベンチマーク質問を実行することも、テストする質問のサブセットを選択することもできます。

各質問について、Genie は入力を解釈し、SQL を生成し、結果を返します。生成された SQL と結果は、その後、ベンチマーク質問で定義された SQL 回答 と比較されます。

すべてのベンチマーク質問を実行するには:

1. Genie Agentの上部にある**[ベンチマーク]**をクリックします。
2. [ ベンチマークの実行 ] をクリックして、テストの実行を開始します。

ベンチマーク質問のサブセットを実行するには:

1. Genie Agentの上部にある**[ベンチマーク]**をクリックします。
2. テストする質問の横にあるチェックボックスを選択します。
3. 選択した質問に対するテストの**ラン**を**起動**するには、 選択を実行 をクリックします。

以前のベンチマーク結果から質問のサブセットを選択し、それらの特定の質問を再実行して改善をテストすることもできます。

ページから移動しても、ベンチマークは引き続き実行されます。ランが完了したら、 [評価] タブで結果を確認できます。

ランが完了したら、Genie Codeを使用してラン全体の結果を確認し、コンテキストの改善を提案できます。Genie Code を使用してベンチマーク ランを分析するを参照してください。

チャットモードの評価

Genieがチャットモードの応答を評価する方法は、以下の条件によって決まります。

条件	評価
Genieは、提供された SQL回答 と完全に一致するSQLを生成します。	良い
Genieは、 SQL回答 によって生成された結果セットと完全に一致する結果セットを生成します。	良い
Genieは**SQL Answer**と同じデータを含む結果セットを生成しますが、並べ替え方が異なります。	良い
Genie は、 SQL 回答 と同じ有効数字4桁に丸められた数値の結果セットを生成します。	良い
Genie は、空の結果セットを生成するか、エラーを返す SQL を生成します	悪い
Genie は、 SQL Answer によって生成された結果セットと比較して、追加の列を含む結果セットを生成します。	悪い
Genie は、 SQL Answer によって生成された単一セルの結果とは異なる単一セルの結果を生成します。	悪い

条件	評価
Genieは、提供された SQL回答 と完全に一致するSQLを生成します。	良い
Genieは、 SQL回答 によって生成された結果セットと完全に一致する結果セットを生成します。	良い
Genieは**SQL Answer**と同じデータを含む結果セットを生成しますが、並べ替え方が異なります。	良い
Genie は、 SQL 回答 と同じ有効数字4桁に丸められた数値の結果セットを生成します。	良い
Genie は、空の結果セットを生成するか、エラーを返す SQL を生成します	悪い
Genie は、 SQL Answer によって生成された結果セットと比較して、追加の列を含む結果セットを生成します。	悪い
Genie は、 SQL Answer によって生成された単一セルの結果とは異なる単一セルの結果を生成します。	悪い

手動レビューが必要 : Genie が正確性を評価できない場合、または Genie が生成したクエリー結果が、提供された SQL 回答 の結果と完全に一致しない場合、応答にはこのラベルが付けられます。 SQL 回答 を含まないベンチマーク質問はすべて、手動でレビューする必要があります。

エージェントモードの評価

LLMジャッジは、SQL比較を使用するのではなく、エージェントモードの応答を評価します。 評価メモ を提供した場合、LLMジャッジは、エージェントモードが生成するテキストレポートの期待されるコンテンツを含め、応答を評価する際のガイダンスとしてそれを使用します。ジャッジは、評価メモの基準を満たす応答を 良好 と評価します。

ベンチマーク評価にアクセス

Genie Agentにおける精度を長期的に追跡するため、すべてのベンチマーク評価にアクセスできます。エージェントの**ベンチマーク**を開くと、評価ランのTimestamp付きリストが**[評価]**tabに表示されます。評価ランが見つからない場合は、「ベンチマークの質問の追加」または「ベンチマークの質問の実行」を参照してください。

The Evaluations tab shows an overview of evaluations and their performance reported in the following categories:

評価名 ：評価ランがいつ発生したかを示すTimestampです。Timestampをクリックして、その評価の詳細を表示してください。 実行ステータス ：評価が完了したか、停止中か、または失敗したかを示します。評価ランに、事前定義されたSQLの回答がないベンチマークの質問が含まれている場合、この列でレビュー対象としてマークされます。 精度 ：すべてのベンチマークの質問における精度の数値評価です。手動レビューが必要な評価ランの場合、それらの質問がレビューされた後にのみ、精度メジャーが表示されます。 作成者 ：評価を実行したユーザーの名前を示します。

個々の評価をレビュー

個々の評価を確認し、各応答の詳細を把握することができます。任意の質問に対する評価を編集し、手動でのレビューが必要な項目を更新することができます。

個々の評価を確認するには：

1. Genie Agentの上部にある ベンチマーク をクリックします。

2. [評価名] 列で任意の評価のタイムスタンプをクリックすると、そのテスト実行の詳細ビューが開きます。

   

3. 画面左側の質問リストを使用して、各質問の詳細を表示します。

4. 「モデル出力」 の応答と 「正解」 の応答をレビューして比較してください。

   誤りとして評価された結果については、なぜその結果が 不適切 と評価されたかを示す説明が表示されます。これにより、生成された出力と期待されるグラウンドトゥルースの間の具体的な違いを理解するのに役立ちます。

注記

これらの応答の結果は1週間、評価の詳細に表示されます。1週間後、結果は表示されなくなります。生成されたSQLステートメントと、例のSQLステートメントは残ります。

5. 正解を更新 をクリックして、この質問の新しい Ground truth として応答を保存します。これは、ground truth が存在しない場合や、応答が既存の ground truth ステートメントよりも優れている場合、またはより正確な場合に役立ちます。

6. 評価を編集するには、ラベル上のをクリックします。

   各結果を 「良い」 または 「悪い」 とマークして、この評価の正確なスコアを取得してください。

Genie Codeでベンチマークのランを分析する

ベンチマークランが完了した後、各質問を個別に検査する代わりに、Genie Code を使用して実行全体の結果をレビューします。評価から Genie Code を起動し、ランの分析を依頼します。Genie Code は、予期される結果、エージェントが生成したもの、エージェントの現在のコンテキストをレビューしてギャップを見つけ、レビューおよび保存するための指示とコンテキストの改善を提案します。