効果的なGenieスペースをキュレーションする
Genieスペースをキュレーションする目標は、ビジネスユーザーが自然言語で質問を投げかけ、データに基づいて正確で一貫した回答を受け取ることができる環境を作り出すことです。 Genieスペースは洗練されたクエリを生成し、一般的な世界の知識を理解する高度なモデルを使用します。
ほとんどのビジネス上の質問はドメイン固有であるため、スペース キュレーターの役割は、その一般的な世界の知識と、特定のドメインまたは特定の企業で使用される専門言語との間のギャップを埋めることです。キュレーターは、メタデータと指示を使用して、Genieがビジネスユーザーの質問を正確に解釈し、回答できるように支援します。この記事では、成功するスペースを開発するためのベストプラクティスと原則について概説します。
新しいスペースを定義するためのベスト プラクティス
次のセクションでは、効果的なスペースを作成するためのプラクティスをお勧めします。
小さく始める
Genieスペースのキュレーションは反復的なプロセスです。 新しいスペースを作成するときは、できるだけ小さく始めて、最小限の指示と限られた質問に答える必要があります。 その後、フィードバックとモニタリングに基づいて反復しながら追加できます。 このアプローチにより、スペースの作成と保守が効率化され、実際のユーザーのニーズに応じてスペースを効果的にキュレーションできます。
次のガイドラインを使用して、小さなGenieスペースを作成します。
- 集中させる : スペースで処理したい質問に答えるために必要なテーブルのみを含めます。 テーブル数は5つ以下を目標にしてください。 選択が集中すればするほど、より良い結果が得られます。 スペースを少量のデータに絞り込むことが理想的であるため、含まれるテーブルの列数を制限します。
- 25 個のテーブル制限内で作業する : Genie spaces最大 25 個のテーブルまたはビューをサポートします。 データ トピックに 25 を超えるテーブルが必要な場合は、関連するテーブルをスペースに追加する前にビューに事前結合します。このアプローチにより、制限内に留まり、データ モデルを簡素化し、Genie の応答精度を向上させることができます。スペースにデータ オブジェクトを追加する方法の詳細については、 「データ オブジェクトの管理」を参照してください。
- イテレーションを計画する : スペースの最小限のセットアップから始め、重要なテーブルと基本的な手順に焦点を当てます。 より詳細なガイダンスや例を追加して、時間をかけて空間を洗練させていきます。最初は完璧を目指すのではなく、その通りです。
- 注釈が十分に付けられたテーブルに基づいて構築 する: Genie は、Unity Catalog の列名と説明を使用して応答を生成します。列名と説明を明確にすると、高品質の回答が得られます。列の説明は、正確なコンテキスト情報を提供する必要があります。あいまいな詳細や不必要な詳細は避けてください。AI が生成した説明の正確性と明確さを検査し、手動で提供する内容と一致する場合にのみ使用してください。
ドメインの専門家にスペースを定義してもらいます
効果的なスペース作成者は、データとそこから得られる知見を理解する必要があります。 SQLに精通したデータアナリストは、通常、スペースをキュレーションするための知識とスキルを持っています。
スペースの目的を定義する
スペースの特定の対象者と目的を特定すると、使用するデータ、手順、テスト問題を決定するのに役立ちます。スペースは、さまざまなドメインにわたる一般的な質問ではなく、特定のトピックや視聴者に対する質問に答える必要があります。スペースにデータを追加する前に、テーブルを事前に結合し、不要な列を削除することで、データセットを簡略化できます。スペースにデータを追加するときは、スペースの定義された目的にしっかりと焦点を当ててください。わかりにくい列や重要でない列は非表示にします。関連する列を非表示または表示するを参照してください。
メタデータとシノニムを追加する
Genieスペース内のデータに列のシノニムとカスタム説明を追加できます。このメタデータは、 Genieスペースにスコープが設定され、 Unity Catalogに保存されているメタデータは上書きされません。 高品質の列の説明と同義語は、Genie が列をよりよく理解し、関連する質問に対して列を選択し、より正確な SQL を作成するのに役立ちます。列メタデータの編集を参照してください。
Genie データ サンプリングを使用する
データサンプリングは、スペース内のデータセットから値をサンプリングすることで Genie の精度を向上させ、ユーザーのプロンプトを正しい列と値に一致させるのに役立ちます。Genie は、スペースを作成するときにテーブルから値を自動的にサンプリングします。データがサンプリングされる列を管理できます。「データ オブジェクトの管理」および「信頼性の高いGenie spacesのためのナレッジ ストアの構築」を参照してください。
焦点を絞った例と指示を提供する
Genieスペースは、限定的で焦点を絞った一連の指示で最高のパフォーマンスを発揮します。 Databricks では、サンプルの SQL クエリを活用して、スペースで指示を提供することをお勧めします。SQLクエリの例を使用すると、Genieはユーザープロンプトを検証済みのSQLクエリと照合し、例から学習して関連する質問に答えることができます。SQL クエリと関数の例の追加を参照してください。
Genieスペースでグローバルに適用すべきコンテキストについては、小さくてよく整理されたプレーンテキストの指示のセットも、関連性を維持し、応答品質を向上させるのに役立ちます。指示が多すぎると、特に長い会話では、Genieが最も重要なガイダンスを優先するのに苦労する可能性があるため、効果が低下する可能性があります。詳細については、「 手順の入力」を参照してください。
適切な指示タイプを選択する
SQL 式とサンプル SQL クエリのどちらを使用するかを決定するには、次のガイドラインを使用します。
- 一般的なビジネス用語にSQL式を使用する : 標準的なビジネス概念を表す頻繁に使用されるメトリック、フィルター、またはディメンションを定義する場合は、ナレッジ ストアでSQL式を使用します。 SQL 式は、Genie がビジネス ロジックを理解するのに役立つ、効率的で再利用可能な定義です。例としては、粗利益、最近の売上、コンバージョン率などが挙げられます。「SQL 式の定義」を参照してください。
- 複雑な質問にはサンプル SQL クエリを使用する : 解釈が難しい質問、複数の部分から成る質問、または複雑な質問に対応する場合は、完全なサンプル SQL クエリを提供します。これらの例は、複雑なクエリ パターンとマルチステップ ロジックを Genie がどのように処理するかを示しています。たとえば、「チームのパフォーマンスの内訳」や「最近参加した顧客にとって、どの製品が最も売れているか」などのプロンプトに対して SQL クエリを作成できます。「サンプル SQL クエリと関数を追加する」を参照してください。
Genieに説明を求める
特定のシナリオで Genie に説明を求めるように指示するには、説明を求めるタイミングとフォローアップの方法を明確にします。トリガー条件と期待される明確化動作の両方を定義する、明確で具体的な指示を使用します。
たとえば、次の種類の指示をスペースに追加します。
ユーザーが営業パフォーマンスの内訳について質問したが、プロンプトに期間、営業チャネル、または KPI が含まれていない場合は、最初に説明を求める質問をして、必要な情報を収集する必要があります。 例: 「探している時間範囲と販売チャンネルを指定してください。」
次の要素を使用して、明確化の指示を構成します。
- トリガー条件 : どのトピックまたはシナリオを明確にする必要があるかを定義します (例: 「ユーザーが X トピックについて質問した場合...」)
- 不足している詳細 : どのような情報が存在する必要があるかを指定します (例: 「...ただし、Y の詳細は含めないでください...」)
- 必要なアクション : Genie が説明を求める必要があることを明記します (例: 「...まず説明を求める質問をする必要があります...」)
- 説明例 : Genie が尋ねる具体的な質問を入力します (例: 「詳細を記入してください...」)
一般的な指示の最後に明確化の質問の指示を追加して、あいまいな質問に応答するときに Genie がこの動作を優先できるようにします。
テストと調整
あなたはスペースの最初のユーザーである必要があります。新しいスペースを作成したら、質問を始めましょう。質問に対する回答として生成された SQL を慎重に調べてください。Genieがデータ、質問、またはビジネス用語を誤って解釈した場合は、生成されたSQLを編集するか、他の特定の指示を提供することで介入できます。信頼できる応答が得られるまで、テストと編集を続けます。
質問を確認したら、その質問をベンチマーク問題として追加し、スペースの全体的な精度を体系的にテストおよび採点するために使用できます。バリエーションとさまざまな質問の言い回しを使用して、Genie の応答をテストできます。Genieスペースでのベンチマークの使用を参照してください。
誤った応答を修正するためのアイデアについては、 Genie spacesトラブルシューティング」を参照してください。
ユーザーテストの実施
テストを通じてレスポンスの品質を確認した後、ビジネスユーザーを募集してGenieスペースを試してみてください。 次のガイドラインを使用して、スムーズなユーザー体験を提供し、継続的な改善のためのフィードバックを収集します。
- 彼らの仕事は空間を洗練させることであるという期待を植え付けます。
- そのスペースが答えを出そうとしている特定のトピックや質問にテストを集中させるように依頼します。
- 間違った回答を受け取った場合は、チャットに追加の指示と説明を追加して回答を絞り込むようにユーザーに促します。 正しい応答が提供された場合は、将来のインタラクションで同様のエラーを最小限に抑えるために、最終的なクエリに賛成票を投じる必要があります。
- 組み込みのフィードバック メカニズムを使用して、応答に賛成票を投じるか、反対票を投じるようにユーザーに伝えます。
- ユーザーに招待して、追加のフィードバックや未解決の質問をスペースの作成者と直接共有してもらいます。 作成者と編集者は、フィードバックを使用して、指示、例、信頼できるアセットを改良できます。
スペースをテストし、フィードバックを提供するためのガイドラインを記載したトレーニング資料または書面による文書を提供することを検討してください。新しいGenieでの作業を開始できるように、 Genieを使用してビジネス データを探索するようビジネス ユーザーに案内します。
ビジネス ユーザーがスペースをテストすると、少なくとも CAN MANAGE の権限を持つユーザーは、 監視 タブで質問を確認できます。 Genie が質問とデータを正しく解釈して正確な回答を提供できるように、コンテキストを追加し続けます。Genie スペースのモニタリングの詳細については、スペースの監視を参照してください。監査ログを使用して、 Genieスペースのフィードバックを監視し、要求を確認することもできます。 「 監査ログとアラートを使用した AI/BI の使用状況の監視」を参照してください。
ビジネス ユーザーがスペースにアクセスするには、元のワークスペースのメンバーである必要があります。 スペースを操作するための適切な権限を付与する方法については、 必要な権限 を参照してください。
Genie spacesに関する一般的な問題のトラブルシューティングについては、 Genie spacesトラブルシューティング」を参照してください。