Genie Spaceのテストとモニタリング

このページでは、Genie Spaceのテスト方法、回答の確認と編集方法、およびスペースの使用状況の監視方法について説明します。

Genie Spaceをテストする

ユーザー間のやり取りのほとんどはチャットウィンドウで行われます。自分のスペースが意図した通りに機能しているかどうかを確認する最善の方法は、ビジネスユーザーが尋ねるであろう現実的な質問を使ってテストすることです。

スペース設定で設定されたサンプル質問がチャットウィンドウに表示されます。Genieは、空間の状況に基づいてサンプル質問を生成することもでき、ユーザーがデータの探索を開始するのに役立ちます。ユーザーはサンプル問題をクリックするか、画面下部のテキストフィールドに独自の問題を入力できます。

回答はテキストフィールドの上に表示されます。ユーザーが質問を入力すると、その内容はチャット履歴に保存されます。

新しい会話を始めるには：

1. 新しいチャットを開始するには、「新しい チャット」をクリックしてください。クリック以前の会話を開く。
2. 質問する... テキスト入力フィールドに質問を入力します。

レビューへの回答

回答は通常、質問に対する自然言語による回答と、関連する結果セットを示す表として提供されます。Genieは、視覚化によって回答の明確さが向上すると判断した場合、視覚化結果も返します。具体的な回答構造は、質問内容によって異なります。質問に回答するためにSQLクエリが生成された場合、そのクエリは応答に含まれます。

注記

他の大規模言語モデル (LLM) と同様に、Genie は非決定論的な動作を示すことがあります。つまり、同じプロンプトを複数回送信すると、異なる出力が表示される場合があります。Genie が学習できる SQL クエリの例を提供することで、Genie の一貫性を高めることができます。SQL クエリと関数の例の追加を参照してください。

回答フィードバック

各応答は、ユーザーに これは正しいですか? と回答するように求めます。ユーザーは、次のいずれかの方法で応答できます。

• はい： 回答が正確であることを確認します。

• 修正する： 応答が不正確であることを示すフラグを立てます。ユーザーはよくある問題から選択するか、独自の説明を入力できます。そうすれば、彼らは次のことができるようになる。

  • 送信および再試行 をクリックし、提供されたフィードバックを使用して応答を再生成してください。
  • 送信 をクリックして、応答を再生成せずにフィードバックを送信します。

• レビューを依頼する： 応答を手動レビューの対象としてマークします。ユーザーは、追加の情報を提供するために、任意でコメントを追加できます。

編集者は、Genieのインターフェースでフィードバックやフラグ付けされた回答を確認できます。Genie Spaceの動作は、ユーザーからのフィードバックのみに基づいて変更されるわけではありません。フィードバックは、改善の機会を特定したり、ユーザーからの質問に直接回答したりするために活用すべきです。Databricksは、この仕組みを利用してユーザーにスペースに関するフィードバックを提供するよう促すことを推奨しています。

ビジネスユーザーは、 モニター ページで、レビュー対象としてマークした質問の更新情報を確認できます。Genie Space上で少なくとも「CAN MANAGE」権限を持つユーザーは、特定のやり取りを確認したり、リクエストにコメントしたり、レスポンスを確認または修正したりすることができます。モニタリングページからフィードバックやレビュー依頼にアクセスできます。そうすることで、そのフィードバックを活用して反応を調整し、空間を改善していくことができます。スペースの監視を参照してください。

その他の対応措置

生成されたSQLを含むレスポンスの場合、追加オプションを使用することで、返されたデータと対話することができます。

• CSVファイルのコピー： スペース利用者は、最大約1GBの結果データをCSVファイルとしてダウンロードできます。最終的なファイルのダウンロードサイズは、1GB の制限が最終ファイルのダウンロードよりも前の段階に適用されるため、1GB より若干多いか少ない可能性があります。 結果をダウンロードするには、応答メッセージ内のダウンロードアイコンをクリックしてください。

• コードを表示: [ コードの表示 ] をクリックして、生成されたクエリを表示します。これは、信頼性の低い応答のトラブルシューティングに役立ちます。クエリの編集と保存を参照してください。

• のケバブメニュー： 以下の操作にアクセスしてください：

  • CSVをコピー ：応答のCSVファイルをクリップボードにコピーします。
  • 指示として追加します。 類似の質問への回答方法をGenieに教えるのに役立つ可能性のあるインタラクションについては、 指示として追加 をクリックします。これにより、サンプルSQLクエリを保存するためのUIが開き、質問と生成されたSQLが入力されます。例をそのままにしておくことも、編集して保存して変更を加えることもできます。SQL クエリと関数の例の追加を参照してください。
  • ベンチマークとして追加 : 質問をベンチマーク質問として追加します。Genieスペースでベンチマークを使用するを参照してください。
  • データの更新 ：以前に生成したクエリを実行してデータを更新します。
  • 回答を再生成する ：質問を再度送信し、Genieに回答を再生成させます。

クエリを編集して保存する

GenieのSQLクエリは、正確性を確認し、必要に応じて編集することができます。Genie Spaceの開発者は通常、ドメインとデータに精通しているため、Genieが誤った回答を生成しているかどうかを認識できます。多くの場合、生成されたSQLクエリを少し手動で調整するだけで、エラーは修正できます。 「生成されたコードを表示」を クリックすると、クエリを検査し、応答に対して生成されたSQLを表示できます。

Genieスペースに対するCAN EDIT以上の権限を持っている場合は、修正するために生成されたSQLステートメントを編集できます。修正を行ったら、クエリを実行します。その後、将来Genieに答え方を教えるための指示として保存できます。編集したクエリを保存するには、 命令として追加 をクリックします。

空間を監視する

Genie Spaceは、データチームとビジネスユーザー間の長期的なコラボレーションツールと考えることができます。これは、一度限りの導入ではなく、時間をかけて知識を蓄積していくものです。ユーザーから新たな質問が寄せられるにつれて、その範囲を絞り込み、網羅性と精度を向上させることができます。

「モニター」 タブを使用して、個々の質問と回答を確認したり、ユーザーからのフィードバックを表示したり、レビュー対象としてフラグが立てられた回答を特定したりできます。

モニタータブには、そのスペースで投稿されたすべての質問と回答が表示されます。質問は、時間、評価、ユーザー、またはステータスで絞り込むことができます。スペースを囲むことで、 CAN MANAGE権限を持つユーザーは、ビジネスユーザーから提起されたクエリとGenie Space がどのように応答したかを事前に理解できます。

Genieが苦手とする質問を特定することで、Genie Spaceに具体的な指示を追加して、Genieの応答を改善することができます。質問をクリックすると、質問と回答のテキストが開き、チャットのスレッド全体が表示されます。

利用状況と傾向を確認する

モニター タブの 「週間ダイジェスト」 セクションを使用して、週間のメッセージ量、アクティブユーザー数、および「いいね」/「よくないね」のフィードバックを確認してください。主な使用傾向と一般的な問題点を特定するには、 「スペース使用状況を分析」 をクリックしてください。これにより、スペースのモニタリング データを分析し、使用パターンと改善の余地がある領域を要約するGenie Codeが起動します。

会話の質を確認する

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。

会話が [スペース管理者によるレビュー可能] に設定されている場合、 CAN MANAGEタブから会話を開いて完全な交換をレビューできます。 これにより、Genieの応答品質を評価したり、ユーザーからのフィードバックに対応したり、追加の指示や例題によって精度が向上する領域を特定したりすることができます。 プライベート に設定された会話の場合、スペース管理者は [モニタリング] タブでユーザーのプロンプトを確認できますが、会話全体や結果を表示することはできません。 詳細については、 「会話を共有する」を参照してください。

注記

ベータ版が有効になる前に作成された会話は 非公開の ままです。有効化後に作成された会話は、デフォルトで スペース管理者によるレビュー対象 となります。