効果的なGenieスペースをキュレーションする
Genieスペースをキュレーションする目標は、ビジネスユーザーが自然言語で質問を投げかけ、データに基づいて正確で一貫した回答を受け取ることができる環境を作り出すことです。 Genieスペースは洗練されたクエリを生成し、一般的な世界の知識を理解する高度なモデルを使用します。
ほとんどのビジネス上の質問はドメイン固有であるため、スペース キュレーターの役割は、一般的な世界知識と、特定のドメインまたは特定の企業で使用される専門用語との間のギャップを埋めることです。キュレーターはメタデータと指示を使用して、Genie がビジネス ユーザーの質問を正確に解釈して応答できるようにします。このページでは、成功するスペースを開発するためのベストプラクティスと原則について説明します。
新しいスペースを定義するためのベスト プラクティス
Genie をあなたの会社に加わる新しいデータアナリストと考えてください。他の新しいチームメンバーと同様に、Genie が効果を発揮するには明確なコンテキストが必要です。データが何を表しているかを理解するために質の高いテーブルと列の説明、一般的な問題を解決する方法を学ぶためにサンプル SQL クエリ、ビジネス用語を定義するために SQL 式、および他の方法が適用されない場合にのみテキスト指示に依存します。メタデータと例を通じて構造化されたコンテキストを提供すればするほど、Genie は質問をより正確に解釈し、正しい結果を生成できるようになります。
Genie Spaceを構築する際には、以下の基本原則を念頭に置いてください。
- 簡潔で十分に文書化されたデータセットを提供する : Unity Catalog の質の高いテーブルと列の説明は、Genie の精度にとって重要です。列のあいまいさを解決し、ビューまたはメトリクス ビューを使用してテーブルを事前結合または非正規化します。 適切に文書化された簡素化されたデータセットにより、Genie がデータに関する質問に正確に答える能力が向上します。
- テキストの指示よりもSQL式とサンプルSQLを優先します 。SQL 式を使用して、 SQLやフィルターなどのビジネス セマンティクスを定義します。 サンプル SQL を使用して、一般的なあいまいなプロンプトを処理する方法を Genie に教えます。テキスト指示は、SQL 式と例でニーズに対応できない場合にのみ、最後の手段として使用してください。SQL による構造化された定義は、プレーンテキストのガイダンスよりも信頼性が高く、保守性も高くなります。
- 明確で具体的なテキスト指示を記述します 。曖昧な指示は避けます。たとえば、「売上について質問された場合は明確な質問をする」の代わりに、「ユーザーが製品名や販売チャンネルを指定せずに売上メトリクスについて質問する場合は、次のように尋ねます。売上分析を進めるには、製品名と販売チャンネルを指定してください。」と書きます。
- 矛盾する指示を避ける : すべての指示タイプ間で一貫性を確保します。たとえば、テキスト命令で小数を 2 桁に丸めるように指定されている場合、サンプル SQL クエリも 2 桁に丸める必要があります。
次のセクションでは、スペースを構築し、精度の課題を解決するための詳細な推奨事項を示します。
小さく始める
Genieスペースをキュレーションすることは、反復的なプロセスです。 新しい空間を作る際は、できるだけ小さな規模で、最小限の指示と限られた数の質問から始めましょう。その後、フィードバックやモニタリングに基づいて、反復作業を行いながら追加していくことができます。このアプローチは、スペースの作成と維持を効率化し、実際のユーザーニーズに応じて効果的にスペースをキュレーションすることを可能にします。
以下のガイドラインを参考に、小さなGenieスペースを作ってみましょう。
- 集中させる : スペースで処理したい質問に答えるために必要なテーブルのみを含めます。 テーブル数は5つ以下を目標にしてください。 選択が集中すればするほど、より良い結果が得られます。 スペースを少量のデータに絞り込むことが理想的であるため、含まれるテーブルの列数を制限します。
- 30テーブル制限内で作業してください ：Genie Spacesは最大30テーブルまたはビューをサポートしています。データトピックで30を超えるテーブルが必要な場合は、関連するテーブルをビューまたはメトリクスビューに事前結合してから、スペースに追加してください。 メトリクス ビューは、メトリクス、ディメンション、集計を事前に定義しているため、 Genie Spaces に特に効果的です。 このアプローチは、制限内に収まるようにし、データモデルを簡素化し、Genieの応答精度を向上させるのに役立ちます。スペースにデータオブジェクトを追加する方法の詳細については、 「データオブジェクトの管理」を参照してください。
- イテレーションを計画する : スペースの最小限のセットアップから始め、重要なテーブルと基本的な手順に焦点を当てます。 より詳細なガイダンスや例を追加して、時間をかけて空間を洗練させていきます。最初は完璧を目指すのではなく、その通りです。
- 注釈が十分に付けられたテーブルに基づいて構築 する: Genie は、Unity Catalog の列名と説明を使用して応答を生成します。列名と説明を明確にすると、高品質の回答が得られます。列の説明は、正確なコンテキスト情報を提供する必要があります。あいまいな詳細や不必要な詳細は避けてください。AI が生成した説明の正確性と明確さを検査し、手動で提供する内容と一致する場合にのみ使用してください。
ドメインの専門家にスペースを定義してもらいます
効果的なスペース作成者は、データとそこから得られる知見を理解する必要があります。 SQLに精通したデータアナリストは、通常、スペースをキュレーションするための知識とスキルを持っています。
スペースの目的を定義する
スペースの特定の対象者と目的を特定すると、使用するデータ、手順、テスト問題を決定するのに役立ちます。スペースは、さまざまなドメインにわたる一般的な質問ではなく、特定のトピックや視聴者に対する質問に答える必要があります。スペースにデータを追加する前に、テーブルを事前に結合し、不要な列を削除することで、データセットを簡略化できます。スペースにデータを追加するときは、スペースの定義された目的にしっかりと焦点を当ててください。わかりにくい列や重要でない列は非表示にします。関連する列を非表示または表示するを参照してください。
メタデータとシノニムを追加する
Genie Space内のデータには、列の同義語やカスタム説明を追加できます。このメタデータはGenie Spaceにのみ適用され、 Unity Catalogに保存されているメタデータを上書きしません。 質の高い列の説明と類義語は、Genieが列をよりよく理解し、関連する質問に対してその列を選択し、より正確なSQLを作成するのに役立ちます。列メタデータの編集を参照してください。
Genieプロンプトマッチングを使用する
プロンプトマッチング機能により、Genieはユーザーの質問に最も関連性の高い値を照合し、ユーザー入力プロンプトのスペルミスを修正することができます。これにより、Genieはユーザーの入力内容を正しい列と値に適切にマッチングさせることが可能になり、精度が向上します。Genieは、スペースにテーブルを追加すると、自動的に適切なテーブルを素早く見つけ出します。プロンプトの一致を有効にする列を管理できます。より信頼性の高い Genie Spaces を実現するには、 「データ オブジェクトの管理」および「ナレッジ ストアの構築」を参照してください。
焦点を絞った例と指示を提供する
Genieスペースは、限定的で焦点を絞った一連の指示で最高のパフォーマンスを発揮します。 Databricks では、サンプルの SQL クエリを活用して、スペースで指示を提供することをお勧めします。SQLクエリの例を使用すると、Genieはユーザープロンプトを検証済みのSQLクエリと照合し、例から学習して関連する質問に答えることができます。SQL クエリと関数の例の追加を参照してください。
Genie Space全体で適用されるべき文脈については、簡潔で整理された平易なテキストによる指示書も、関連性を維持し、応答の質を向上させるのに役立ちます。指示が多すぎると、特に長時間の会話では効果が低下する可能性があります。なぜなら、Genieは最も重要な指示を優先的に理解することが難しくなる可能性があるからです。詳細については、 「指示を提供する」を参照してください。
適切な指示タイプを選択する
次のガイドラインに従って、SQL 式、サンプル SQL クエリ、およびテキスト指示のいずれかを選択します。
- 一般的なビジネス用語にSQL式を使用する : 標準的なビジネス概念を表す頻繁に使用されるメトリック、フィルター、またはディメンションを定義する場合は、ナレッジ ストアでSQL式を使用します。 SQL 式は、Genie がビジネス ロジックを理解するのに役立つ、効率的で再利用可能な定義です。たとえば、SQL 式を使用して
revenue、active_customers、gross_margin、またはrecent_salesを定義します。「SQL 式の定義」を参照してください。 - 複雑な質問にはサンプル SQL クエリを使用する : 解釈が難しい質問、複数の部分から成る質問、または複雑な質問に対応する場合は、完全なサンプル SQL クエリを提供します。これらの例は、複雑なクエリ パターンとマルチステップ ロジックを Genie がどのように処理するかを示しています。たとえば、「チームのパフォーマンスの内訳」や「最近参加した顧客にとって、どの製品が最も売れているか」などのプロンプトに対して SQL クエリを作成できます。「サンプル SQL クエリと関数を追加する」を参照してください。
- テキスト指示は最後の手段としてのみ使用してください 。テキスト指示は、SQL 式や例でニーズに対応できない場合にのみ、控えめに使用してください。「ユーザーが期間を指定せずに顧客のパフォーマンスについて質問した場合は、期間を明確にするように依頼してください」や「要約では、パーセンテージを常に小数点第 2 位に丸めてください」など、自然言語による説明が必要なガイダンスには、テキストの指示を使用します。SQLで表現できるメトリクス、フィルター、またはクエリ パターンを定義するためにテキスト命令を使用することは避けてください。
Genieに説明を求める
特定のシナリオで Genie に説明を求めるように指示するには、説明を求めるタイミングとフォローアップの方法を明確にします。トリガー条件と期待される明確化動作の両方を定義する、明確で具体的な指示を使用します。
たとえば、次の種類の指示をスペースに追加します。
ユーザーが営業パフォーマンスの内訳について質問したが、プロンプトに期間、営業チャネル、または KPI が含まれていない場合は、最初に説明を求める質問をして、必要な情報を収集する必要があります。 例: 「探している時間範囲と販売チャンネルを指定してください。」
次の要素を使用して、明確化の指示を構成します。
- トリガー条件 : どのトピックまたはシナリオを明確にする必要があるかを定義します (例: 「ユーザーが X トピックについて質問した場合...」)
- 不足している詳細 : どのような情報が存在する必要があるかを指定します (例: 「...ただし、Y の詳細は含めないでください...」)
- 必要なアクション : Genie が説明を求める必要があることを明記します (例: 「...まず説明を求める質問をする必要があります...」)
- 説明例 : Genie が尋ねる具体的な質問を入力します (例: 「詳細を記入してください...」)
一般的な指示の最後に明確化の質問の指示を追加して、あいまいな質問に応答するときに Genie がこの動作を優先できるようにします。
要約をカスタマイズする
Genie は、ユーザーがデータを理解できるように、クエリ結果とともに自然言語の要約を提供します。スペースのテキスト指示に特定の指示を追加することで、Genie がこれらの要約を生成する方法をカスタマイズできます。概要のカスタマイズ手順は、スペース内のすべての回答に適用されます。
要約の動作をカスタマイズするには、テキスト指示の最後に「要約を提供する際に従う必要がある指示」という見出しの専用セクションを追加します。
概要のカスタマイズ手順の例:
要約を提供する際に従わなければならない指示
- 要約を提供する際は常にフランス語で応答する
- 分析で使用した表と列の名前を引用してください
- 箇条書きを使用して複数の部分から成る要約を構成する
- 結果に含まれる日付範囲を含める
- 要約の生成にはテキスト指示のみが影響します。SQL の例と SQL 式は、Genie が要約を作成する方法には影響しません。
- 概要の長さや詳細レベルの制御など、一部のカスタマイズは利用できません。
テストと調整
あなたはスペースの最初のユーザーである必要があります。新しいスペースを作成したら、質問を始めましょう。質問に対する回答として生成された SQL を慎重に調べてください。Genieがデータ、質問、またはビジネス用語を誤って解釈した場合は、生成されたSQLを編集するか、他の特定の指示を提供することで介入できます。信頼できる応答が得られるまで、テストと編集を続けます。
質問を確認したら、その質問をベンチマーク問題として追加し、スペースの全体的な精度を体系的にテストおよび採点するために使用できます。バリエーションとさまざまな質問の言い回しを使用して、Genie の応答をテストできます。Genieスペースでベンチマークを使用するを参照してください。
誤った応答を修正する方法については、 「Genie Spaces のトラブルシューティング」を参照してください。
ユーザーテストの実施
テストを通じて応答品質を確認した後、ビジネスユーザーを募り、Genie Spaceを試用してもらいます。スムーズなユーザー体験を提供し、継続的な改善のためのフィードバックを収集するには、以下のガイドラインに従ってください。
- 彼らの仕事は空間を洗練させることであるという期待を植え付けます。
- そのスペースが答えを出そうとしている特定のトピックや質問にテストを集中させるように依頼します。
- 間違った回答を受け取った場合は、チャットに追加の指示と説明を追加して回答を絞り込むようにユーザーに促します。 正しい応答が提供された場合は、将来のインタラクションで同様のエラーを最小限に抑えるために、最終的なクエリに賛成票を投じる必要があります。
- 組み込みのフィードバック メカニズムを使用して、応答に賛成票を投じるか、反対票を投じるようにユーザーに伝えます。
- ユーザーに招待して、追加のフィードバックや未解決の質問をスペースの作成者と直接共有してもらいます。 作成者と編集者は、フィードバックを使用して、指示、例、信頼できるアセットを改良できます。
スペースのテスト方法とフィードバックの提供方法に関するガイドラインを記載したトレーニング資料や文書を提供することを検討してください。ビジネスユーザーに対し、Genie Spaceを使用してビジネスデータを探索するよう指示し、新しいGenie Spaceでの作業を開始できるように支援します。
ビジネス ユーザーがスペースをテストすると、少なくともCAN MANAGE権限を持つユーザーは 、モニタリング タブで自分が尋ねた質問を確認できます。 Genieが質問とデータを正しく解釈し、正確な回答を提供できるよう、引き続きコンテキストを追加してください。モニタリングGenie Spacesの詳細については、 「スペースを監視する」を参照してください。 監査ログを使用して、Genie Spaceからのフィードバックやレビュー依頼を監視することもできます。監査ログとアラートを使用してGenie Spacesの使用状況を監視する方法については、こちらをご覧ください。
ビジネス ユーザーがスペースにアクセスするには、元のワークスペースのメンバーである必要があります。 スペースを操作するための適切な権限を付与する方法については、 必要な権限 を参照してください。
Genie Spaces でよくある問題のトラブルシューティングについては、 「Genie Spaces のトラブルシューティング」を参照してください。