メインコンテンツまでスキップ
に最終更新

Agent Bricks: Knowledge Assistantを使用して、ドキュメント上に高品質のチャットボットを作成します

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。「Databricks プレビューの管理」を参照してください。

このページでは、Agent Bricks: Knowledge Assistantを使用して、ドキュメントに対して質問と回答のチャットボットを作成し、対象分野の専門家からの自然言語フィードバックに基づいてその品質を向上させる方法について説明します。

Agent Bricks は、一般的なAIユースケース向けに、ドメイン固有の高品質のAIエージェントシステムを構築および最適化するためのシンプルなアプローチを提供します。

Agent Bricks: Knowledge Assistantとは?​

Agent Bricks: Knowledge Assistant を使用して、ドキュメントに関する質問に答え、引用付きの高品質な回答を提供できるチャットボットを作成します。Knowledge Assistant は高度な AI を使用し、 Instructed Retrieverアプローチに従って、従来の検索拡張生成 (RAG) アプローチの制限に対処し、ユーザーが提供するドキュメントに基づいて最高品質の回答を提供します。

Agent Bricks:Knowledge Assistantは、次のユースケースをサポートするのに最適です。

  • 製品ドキュメントに基づいてユーザーの質問に答えます。
  • 人事ポリシーに関連する従業員の質問に答えます。
  • サポートナレッジベースに基づいて顧客からの問い合わせに回答します。

Knowledge Assistant を使用すると、専門家からの自然言語によるフィードバックに基づいてチャット エージェントの品質を向上させ、その動作を調整できます。エクスペリエンス内で直接質問やガイドラインを提供し、エージェントを共有して他のユーザーが共同作業を行い、エージェントのパフォーマンスを向上できるようにします。

エージェント ブリック: Knowledge Assistant は、アプリケーションのダウンストリームで使用できるエージェント エンドポイントを作成します。たとえば、下の画像は、AI Playground でチャットしてエンドポイントと対話する方法を示しています。エージェントに書類に関連する質問をすると、エージェントが引用とともに回答します。

Playground のナレッジアシスタントエンドポイント。

Agent Bricks は、デフォルトのストレージを使用して、各エージェントを動かす一時的なデータ変換、モデル チェックポイント、および内部メタデータを保存します。エージェントを削除すると、エージェントに関連付けられているすべてのデータがデフォルトのストレージから削除されます。

必要条件​

ナレッジアシスタントエージェントの作成​

へ移動エージェントアイコン。ワークスペースの左側のナビゲーション ペインにある エージェント 。 Knowledge Assistant タイルから、 [ビルド] をクリックします。

ステップ 1: エージェントを構成する​

[ビルド] タブで、エージェントを構成し、質問に答えるために使用する知識ソースを提供します。

ナレッジアシスタントを設定します。

  1. 名前 フィールドに、エージェントの名前を入力します。

  2. 説明 フィールドで、エージェントが実行できる操作を説明します。

  3. ナレッジ ソース パネルで、ナレッジ ソースを追加します。Unity Catalog ファイルまたはベクトル検索インデックスのいずれかを指定することを選択できます。

UC ファイルの場合、txt、pdf、md、ppt/pptx、および doc/docx のファイル タイプがサポートされています。50 MB を超えるファイルは、取り込み中に自動的にスキップされ、ナレッジ ベースには含まれません。

UC ファイルを追加します。

  1. タイプ で、[ UCファイル ]を選択します。
  2. ソース フィールドで、Unity Catalog のボリュームまたはファイルを含むボリューム ディレクトリを選択します。
  3. 名前 フィールドに、ナレッジ ソースの名前を入力します。
  4. [コンテンツの説明] で、エージェントがこのデータソースをいつ使用するかを理解できるように、ナレッジ ソースに含まれるコンテンツを記述します。

  1. (オプション)ナレッジ ソースをさらに追加する場合は、[ ナレッジ ソースの追加 ] をクリックします。 最大 10 個のナレッジ ソースを提供できます。

  2. (オプション) 指示 フィールドで、エージェントが応答する方法のガイドラインを指定します。

    指示を追加します。

  3. エージェントの作成 をクリックします。

エージェントを作成し、提供したナレッジソースを同期するには、最大で数時間かかる場合があります。右側のパネルが更新され、デプロイされたエージェント、エクスペリメント、同期されたナレッジソースへのリンクが表示されます。

重要

ナレッジソースにファイルを更新または追加する場合は、クリックする必要があります。 同期アイコン。 エージェントが変更を取得できるように同期します。同期は増分的に行われます。たとえば、以前に同期したUnity Catalogボリュームに新しいファイルを追加すると、同期では新しく追加されたファイルのみが処理されます。

ナレッジ アシスタントの作成者だけがナレッジ ソースを同期できます。

エージェントの準備ができたときに右側のパネルを更新しました。

ステップ 2: エージェントをテストする​

エージェントの構築が完了したら、エージェントとチャットしてテストします。エージェントは、その知識に関連する質問に対して引用で応答する必要があります。

  1. 「エージェントのテスト」 で、エージェントとのチャットを開始します。

  2. (オプション) 「Playground で開く」 をクリックして、 AI Playgroundでチャットすることもできます。AI 支援機能が有効になっている場合は、 AI ジャッジ と 合成質問生成を 有効にして、エージェントの評価に役立てることができます。

  3. エージェントへの質問を入力します。

  4. その応答を評価します。

    1. 「 思考を表示 」をクリックして、エージェントが質問にどのように回答したかを確認します。
    2. エージェントが引用しているファイルを確認するには、 [ソースの表示] をクリックします。これにより、確認できるソースのリストを含むサイドパネルが開きます。
    3. 完全なトレースを表示するには、 「トレースの表示」 をクリックします。開発プロセス中に品質評価を追跡するために、UI のトレースにラベルを追加できます。

エージェントのパフォーマンスに満足している場合は、エージェントをそのまま使用し続けます。デフォルトでは、Agent Bricks エンドポイントは 3 日間非アクティブになるとゼロにスケーリングされるため、稼働時間に対してのみ請求されます。

ステップ 3: 品質を向上させる​

エージェント ブリック: Knowledge Assistant は、自然言語のフィードバックに基づいてエージェントの動作を調整できます。構成ページを通じて専門家からのフィードバックを収集し、エージェントの品質を向上させます。エージェントのラベル付きデータを収集すると、エージェントの品質と動作が向上します。

[例] タブで、ユーザーが尋ねる質問や、エージェントが以前に間違えた質問を追加します。あるいは、 Unity Catalogテーブルからラベル付きデータを直接インポートすることもできます。

  1. ラベルに質問を追加します:

    1. [ + 追加 ] をクリックして質問を追加します。
    2. [ 質問の追加 ] モーダルに、質問を入力します。
    3. 追加 をクリックします。質問がUIに表示されます。
    4. 評価するすべての質問を追加するまで繰り返します。
    5. 質問を削除するには、ケバブメニューをクリックし、[ 削除 ]をクリックします。

  2. 質問の追加が完了したら、エージェントを他のユーザーと共有してレビューし、高品質のラベル付きデータセットを構築することができます。右上隅のケバブメニューをクリックしますケバブメニューアイコン。権限を管理します。

    専門家がアクセスしてフィードバックを提供するには、次の権限を付与する必要があります。

    • エージェント設定ページからのCAN_MANAGE権限

  3. Agent Bricks: Knowledge Assistant 構成ページへのリンクを共有して、専門家からのフィードバックを収集します。収集されたガイドラインは保存後すぐに適用されます。

  4. 自分でデータにラベルを付けるには、質問をクリックし、表示されるパネルに ガイドライン を追加します。ガイドラインは保存後すぐに適用されます。

  5. 構成ページまたはAI Playgroundでエージェントを再度テストし、パフォーマンスの向上を確認します。 必要に応じて、質問やガイドラインを追加して、行動の改善を続けます。

（オプション）ラベル付きデータのインポートとエクスポート​

新しい質問とフィードバックを Unity Catalog テーブルから直接インポートするには:

  1. 「 インポート 」をクリックします。

  2. [ ソース ] フィールドで、ラベル付けされたデータを含む Unity Catalog テーブルを選択します。

    テーブルには、次のスキーマが必要です。

    • eval_id: string

    • request: string

    • guidelines: array

      • items: string

    • metadata: string

    • tags: string

  3. 「 インポート 」をクリックします。

新しい質問とガイドラインは、右側のラベル付きデータ テーブルに統合されます。

ラベル付けされたデータをUnity Catalogテーブルとしてエクスポートするには:

  1. [エクスポート] をクリックします。
  2. [ スキーマ] フィールドで、データを保存する Unity Catalog スキーマの場所を選択します。
  3. [ テーブル名] フィールドに、テーブルの名前を入力します。
  4. [エクスポート] をクリックします。

ラベル付けされたデータで新しいテーブルが作成されます。

権限を管理する​

デフォルトでは、エージェント ブリックの作成者とワークスペース管理者のみがエージェントに対する権限を持ちます。他のユーザーがエージェントを編集または照会できるようにするには、明示的に権限を付与する必要があります。

エージェントの権限を管理するには:

  1. Agent Bricks でエージェントを開きます。

  2. 上部のケバブメニューアイコン。ケバブメニュー。

  3. [権限の管理] をクリックします。

  4. [権限設定] ウィンドウで、ユーザー、グループ、またはサービスプリンシパルを選択します。

  5. 付与する権限を選択してください:

    • 管理可能 : 権限の設定、エージェント構成の編集、品質の向上など、エージェント ブリックの管理を許可します。
    • クエリ可能 : AI PlaygroundおよびAPIを通じて Agent Bricks エンドポイントをクエリできます。 この権限のみを持つユーザーは、エージェント ブリックでエージェントを表示または編集することはできません。

  6. [ 追加 ] をクリックします。

  7. 保存 をクリックします。

重要

ナレッジ アシスタントの作成者だけがナレッジ ソースを同期できます。

エージェント エンドポイントをクエリする​

エージェントページで、 モデルサービングアイコン。 右上のエージェント ステータスを参照して、デプロイされたエージェント エンドポイントを取得し、エンドポイントの詳細を確認します。

作成されたナレッジ アシスタント エンドポイントをクエリする方法は複数あります。AI Playground で提供されているコード例を開始点として使用します。

  1. [ビルド] タブで、[プレイ グラウンドで開く] をクリックします。
  2. Playground から [ コードを取得] をクリックします。
  3. エンドポイントの使用方法を選択します。
    • curl を使用してエンドポイントをクエリするコード例として、 [Curl API ] を選択します。
    • Python を使用してエンドポイントと対話するためのコード例として、 Python API を選択します。

ナレッジアシスタントを評価する​

このノートブックでは、キュレーションされた評価データセットとカスタム スコアラーを使用して Databricks Knowledge Assistant を評価する方法を示します。

Notebook

Open notebook in new tab

制限​