Agent Bricksを使用する: カスタム LLM を使用して、テキスト用の生成AI エージェントを作成する

備考

ベータ版

この機能は ベータ版です。

この記事では、Agent Bricks: Custom を使用して、カスタム テキストベースのタスクの生成 エージェントを作成する方法について説明します。AILLM

Agent Bricks は、一般的なAIユースケース向けに、ドメイン固有の高品質のAIエージェントシステムを構築および最適化するためのシンプルなアプローチを提供します。

カスタムLLMで何ができますか?

Agent Bricksの使用:カスタムLLMを使用して、要約、分類、テキスト変換、コンテンツ生成など、ドメイン固有のタスクに対して高品質の結果を生成します。

Agent Bricks:カスタムLLMは、次のユースケースに最適です。

• 顧客からの電話の問題と解決策をまとめます。
• 顧客レビューのセンチメントを分析します。
• 研究論文をトピックごとに分類する。
• 新機能のプレス リリースを生成します。

高レベルの指示と例を前提として、Agent Bricks: Custom LLM は、ユーザーに代わってプロンプトを最適化し、評価基準を自動的に推測し、提供されたデータからシステムを評価し、モデルを運用可能なエンドポイントとしてデプロイします。

Agent Bricks: Custom LLM は、MLflow や Agent Evaluation などの自動評価機能を活用して、特定の抽出タスクのコストと品質のトレードオフを迅速に評価できます。この評価により、精度とリソース投資のバランスについて、十分な情報に基づいた決定を下すことができます。

Agent Bricks は、デフォルトのストレージを使用して、各エージェントを動かす一時的なデータ変換、モデル チェックポイント、および内部メタデータを保存します。エージェントを削除すると、エージェントに関連付けられているすべてのデータがデフォルトのストレージから削除されます。

必要条件

• 次のものを含むワークスペース。

  • Mosaic AI Agent Bricks Preview (Beta) が有効になりました。Databricks プレビューの管理を参照してください。
  • サーバレス コンピュートが有効になりました。 サーバレス コンピュートの要件を参照してください。
  • Unity Catalog が有効になっている。「Unity Catalog のワークスペースを有効にする」を参照してください。
  • Mosaic AI Model Servingへのアクセス。
  • system.aiスキーマを使用した Unity Catalog の基盤モデルへのアクセス。
  • 非ゼロの 予算を持つサーバレス 予算ポリシー へのアクセス。

• サポートされているリージョン ( us-east-1 または us-west-2のいずれかのリージョンのワークスペース。

• ai_query SQL関数を使用する機能。

• 入力データを使用する準備ができている必要があります。次のいずれかを選択できます。

  • Unity Catalog テーブル。テーブル名には、特殊文字 ( -など) を含めることはできません。

    • PDF を使用する場合は、PDF を Unity Catalog テーブルに変換します。「Agent Bricks での PDF の使用」を参照してください。

  • 少なくとも 3 つの入力と出力の例。このオプションを選択する場合は、エージェントの Unity Catalog スキーマの宛先パスを指定する必要があり、このスキーマに対する CREATE REGISTERED MODEL と CREATE TABLE のアクセス許可が必要です。

• エージェントを最適化するには、少なくとも 100 個の入力 (Unity Catalog テーブルの 100 行、または手動で提供された 100 個の例) が必要です。

カスタム LLM エージェントを作成する

へ移動ワークスペースの左側のナビゲーション ペインにある エージェント 。 カスタム LLM タイルから、 [ビルド] をクリックします。

ステップ 1: エージェントを構成する

「構成 」タブで、「 >例を表示 」をクリックして、カスタム LLM エージェントの入力およびモデル応答の例を展開します。

下のペインで、エージェントを設定します。

1. 「タスクの説明」 に、専門化タスクの目的や望ましい結果など、明確で詳細な説明を入力します。

2. ラベル付きデータセット、ラベルなしデータセット、またはエージェントの作成に使用するいくつかの例を提供します。

   PDF を使用する場合は、まず Unity Catalog テーブルに変換します。「Agent Bricks での PDF の使用」を参照してください。

   サポートされているデータ型は、 string、 int、および doubleです。

Labeled dataset

[ラベル付きデータセット] を選択した場合:

1. [データセットを UC テーブルとして選択] で [ 参照 ] をクリックし、使用する Unity Catalog のテーブルを選択します。テーブル名には、特殊文字 ( -など) を含めることはできません。

   次に例を示します。

   main.model_specialization.customer_call_transcripts

2. 入力列 フィールドで、入力テキストとして使用する列を選択します。ドロップダウンメニューには、選択したテーブルの列が自動的に入力されます。

3. [ 出力] 列 で、予期される変換の出力例として提供する列を選択します。このデータを提供すると、ドメイン固有のニーズにより正確に適応するようにエージェントを構成するのに役立ちます。

Unlabeled dataset

[ ラベルなしデータセット ] を選択した場合:

1. [データセットを UC テーブルとして選択] で [ 参照 ] をクリックし、使用する Unity Catalog のテーブルを選択します。テーブル名には、特殊文字 ( -など) を含めることはできません。

2. 入力列 フィールドで、入力テキストとして使用する列を選択します。ドロップダウンメニューには、選択したテーブルの列が自動的に入力されます。

A few examples

[ いくつかの例] を選択した場合:

1. 専門化タスクの入力と期待されるアウトプットの例を少なくとも3つ提供してください。 高品質の例を提供することで、専門化エージェントを設定して要件をより深く理解することができます。
2. さらに例を追加するには、[ + 追加 ] をクリックします。
3. [エージェントの宛先] で、Agent Bricks を使用して評価データを含むテーブルを作成するのに役立つ Unity Catalog スキーマを選択します。このスキーマに対する CREATE REGISTERED MODEL 権限と CREATE TABLE 権限が必要です。

3. エージェントに名前を付けます。

4. エージェントの作成 をクリックします。

ステップ 2: エージェントを構築して改善する

[品質の向上] タブでは、エージェントを改善するための推奨事項を確認し、サンプル モデルの出力を確認し、タスクの指示と評価基準を調整します。

[推奨事項] ペインでは、Databricks はサンプル応答を最適化し、良いか悪いかを評価するのに役立つ推奨事項を提供します。

1. [推奨事項] ペインでは、Databricks はサンプル応答を最適化し、良いか悪いかを評価するのに役立つ推奨事項を提供します。

   1. エージェントのパフォーマンスを最適化するための Databricks の推奨事項を確認します。
   2. 応答を改善するためのフィードバックを提供します。それぞれの回答に対して、 「これは良い回答ですか?」 と答えます。 Yes または No で回答します。 いいえ の場合は、応答に関するオプションのフィードバックを提供し、 「保存」 をクリックして次の応答に進みます。
   3. 推奨事項を 無視する こともできます。

2. 右側の [ガイドライン] で、エージェントが適切な出力を生成できるように明確なガイドラインを設定します。これらは品質を自動的に評価するためにも使用されます。

   1. 提案されたガイドラインを確認します。ガイドラインの提案は自動的に推測され、エージェントの最適化に役立ちます。これらを絞り込んだり削除したりすることができます。
   2. エージェント ブリックスは追加のガイドラインを提案する場合があります。新しいガイドラインを追加するには 「承認」を 選択し、 拒否する には「拒否」を選択するか、最初にテキストをクリックしてガイドラインを編集します。
   3. 独自のガイドラインを追加するには、 追加 。
   4. エージェントを更新するには、 [保存して更新] をクリックします。

3. (オプション) 右側の [指示] の下で、タスクについて説明します。エージェントが応答を生成するときに従う追加の指示を追加します。指示を適用するには、 「保存して更新」 をクリックします。

4. エージェントを更新すると、新しいサンプル応答が生成されます。これらの回答を確認し、フィードバックを提供します。

ステップ 3: エージェントを評価する

ガイドラインから、少数の評価結果を含む品質レポートが自動的に生成されます。このレポートを 「品質」 タブで確認します。

承認された各ガイドラインは評価メトリクスとして使用されます。 生成されたリクエストごとに、ガイドラインを使用して応答が評価され、合格/不合格の評価が行われます。これらの評価は、上部に表示される評価スコアを生成するために使用されます。評価結果をクリックすると、詳細が表示されます。

品質レポートを使用して、エージェントをさらに最適化する必要があるかどうかを判断します。

（オプション）エージェントを最適化する

Agent Bricks は、エージェントのコストを最適化するのに役立ちます。Databricks 、エージェントを最適化するために、少なくとも 100 個の入力 ( Unity Catalogテーブルの 100 行または手動で提供される 100 個の例) を推奨しています。 入力を追加すると、エージェントが学習できる知識ベースが増加し、エージェントの品質と応答精度が向上します。

エージェントを最適化すると、Databricks は複数の異なる最適化戦略を比較して、最適化されたエージェントを構築およびデプロイします。これらの戦略にはDatabricks Geosを使用する基盤モデルのファインチューニングが含まれます。

エージェントを最適化するには:

1. [最適化] をクリックします。

2. [最適化の開始] をクリックします。

   最適化には数時間かかる場合があります。最適化の進行中は、現在アクティブなエージェントへの変更はブロックされます。

3. 最適化が完了したら、現在アクティブなエージェントとコストが最適化されたエージェントの比較を確認します。

4. これらの結果を確認したら、[ Deploy best model to an endpoint ] で最適なモデルを選択し、[ Deploy] をクリックします。

ステップ 4: エージェントを使用する

Databricks 全体のワークフローでエージェントを試します。デフォルトでは、Agent Bricks エンドポイントは 3 日間非アクティブになるとゼロにスケーリングされるため、稼働時間に対してのみ請求されます。

エージェントの使用を開始するには、 [使用] をクリックします。次のオプションがあります。

• [ SQL で試す ] をクリックして SQL エディターを開き、ai_query を使用して新しいカスタム LLM エージェントに要求を送信します。

• 「パイプラインの作成」を クリックして、スケジュールされた間隔で実行されるパイプラインをデプロイし、新しいデータに対してエージェントを使用します。パイプラインの詳細については、 LakeFlow Spark宣言型パイプライン」を参照してください。

• を使用してチャット環境でエージェントをテストするには、[Playground で開く] AI Playgroundをクリックします。

権限を管理する

デフォルトでは、エージェント ブリックの作成者とワークスペース管理者のみがエージェントに対する権限を持ちます。他のユーザーがエージェントを編集または照会できるようにするには、明示的に権限を付与する必要があります。

エージェントの権限を管理するには:

1. Agent Bricks でエージェントを開きます。

2. 上部のケバブメニュー。

3. [権限の管理] をクリックします。

4. [権限設定] ウィンドウで、ユーザー、グループ、またはサービスプリンシパルを選択します。

5. 付与する権限を選択してください:

   • 管理可能 : 権限の設定、エージェント構成の編集、品質の向上など、エージェント ブリックの管理を許可します。
   • クエリ可能 : AI PlaygroundおよびAPIを通じて Agent Bricks エンドポイントをクエリできます。 この権限のみを持つユーザーは、エージェント ブリックでエージェントを表示または編集することはできません。

6. [ 追加 ] をクリックします。

7. 保存 をクリックします。

注記

2025 年 9 月 16 日より前に 作成されたエージェント エンドポイントの場合は、 [サービス エンドポイント] ページからエンドポイントに クエリ可能 権限を付与できます。

エージェント エンドポイントをクエリする

作成されたカスタム LLM エンドポイントをクエリする方法は複数あります。AI Playground で提供されているコード例を開始点として使用します。

1. [ 構成] タブで、[ プレイグラウンドで開く ] をクリックします。
2. Playground から [ コードを取得] をクリックします。
3. エンドポイントの使用方法を選択します。
   • [ データに適用] を選択して、エージェントを特定のテーブル列に適用する SQL クエリを作成します。
   • curl を使用してエンドポイントをクエリするコード例として、 [Curl API ] を選択します。
   • Python を使用してエンドポイントと対話するためのコード例として、 Python API を選択します。

Agent Bricks での PDF の使用

PDF は、Agent Bricks ではまだネイティブにサポートされていません: 情報抽出とカスタム抽出 LLM。 ただし、Agent Brick の UI ワークフローを使用して、PDF ファイルのフォルダをマークダウンに変換し、エージェントを構築するときに結果の Unity Catalog テーブルを入力として使用できます。 このワークフローでは、変換に ai_parse_document を使用します。以下の手順に従います。

1. 左側のナビゲーション ウィンドウで [エージェント] をクリックして、Databricks で Agent Bricks を開きます。

2. 情報抽出またはカスタム LLM ユースケースで、 [PDF の使用] を クリックします。

3. 開いたサイドパネルで、次のフィールドを入力して、PDF を変換するための新しいワークフローを作成します。

   1. PDF または画像を含むフォルダーを選択 : 使用する PDF が含まれているUnity Catalogフォルダーを選択します。
   2. 宛先テーブルの選択 : 変換されたマークダウン テーブルの宛先スキーマを選択し、必要に応じて、下のフィールドのテーブル名を調整します。
   3. アクティブな SQLウェアハウスの選択 : ワークフローを実行する SQLウェアハウスを選択します。

   

4. [インポートの開始 ] をクリックします。

5. [ すべてのワークフロー ] タブにリダイレクトされ、すべての PDF ワークフローが一覧表示されます。このタブを使用して、ジョブのステータスを監視します。

   

   ワークフローが失敗した場合は、ジョブ名をクリックして開き、デバッグに役立つエラーメッセージを表示します。

6. ワークフローが正常に完了したら、ジョブ名をクリックしてカタログエクスプローラーでテーブルを開き、列を探索して理解します。

7. エージェントを設定するときは、 Unity Catalog テーブルをAgent Bricksの入力データとして使用します。

制限

• Databricks では、エージェントを最適化するために、少なくとも 100 個の入力 ( Unity Catalog テーブルの 100 行または手動で提供された 100 個のサンプル) を推奨しています。 入力を追加すると、エージェントが学習できるナレッジ ベースが増え、エージェントの品質と応答精度が向上します。
• Unity Catalogテーブルを指定する場合、テーブル名に特殊文字 (-など) を含めることはできません。
• 入力としてサポートされているデータ型は、 string、 int、および doubleのみです。
• 現在、使用容量は 1 分あたり 100k の入力トークンと出力トークンに制限されています。
• セキュリティとコンプライアンスの強化が有効になっているワークスペースはサポートされていません。
• サーバレス出力制御ネットワークポリシーが制限されたアクセスモードでは、最適化が失敗する可能性があります。