DatabricksでLLMとエージェントを検索する

Databricksは、大規模言語モデル（LLM）、基盤モデル、およびデプロイ済みエージェントを照会するための複数の方法を提供します。ワークフローに応じて、対話型 UI、 SQL 、 REST APIs 、またはクライアント ライブラリを選択します。

AI Playground

AI Playground 、LLM のプロンプトと比較を行うためのDatabricksワークスペース内のノーコード チャット環境です。 これを使用して、プロンプトを体験したり、温度や最大アセトンなどのチューニングを調整したり、コードに移る前にツール呼び出しエージェントと質問応答ボットを並べてプロトタイプ化したりできます。

基盤モデル

Databricks は、Unity AI Gateway を通じて、基盤モデルをモデルAPI （モデルサービス）としてネイティブに提供します。すべてのアカウントユーザーは、セットアップなしで system.ai スキーマ内のトークン単位の従量課金モデルを呼び出すことができます。ニーズに合ったモデルAPIを選択します：

• system.ai のシステム提供モデル APIs : Databricks によってネイティブに提供されるモデル。OpenAI 互換 SDK、ネイティブプロバイダー API、または ai_query を使用してクエリーを実行できます。モデルAPI（モデルサービス）のクエリーを参照してください。
• カスタムモデル APIs : default以外のモデルが必要な場合、または負荷分散やfallbackの設定を行う場合は、独自に作成してください。

クエリエージェント

エージェントを構築してデプロイした後、アプリケーションからエージェントをクエリーします。エージェントはDatabricks AppsまたはModel Servingエンドポイントでホストできます。Databricksは3つのクエリーメソッドをサポートしています：

• Databricks OpenAIクライアント : 新しいアプリケーションに推奨されます。ネイティブなストリーミングとすべての機能サポートを備えています。
• OpenAI互換REST API ：言語に依存せず、すでにOpenAI APIに対応しているあらゆるプラットフォームで動作します。
• ai_query : Model Serving Endpointでホストされているレガシーエージェントを SQL からクエリーします。

AI関数を使用したデータの拡充

AI Functionsは、Databricksに保存されているデータにLLMやその他のモデルを適用する組み込みのSQL関数です。これらをDatabricks SQL、ノートブック、Lakeflow Pipelines、またはワークフローからランして、サポートチケットの分類、ドキュメントからのエンティティ抽出、コンテンツの要約、またはバッチ規模でのテキスト翻訳を行うことができます。

2種類の機能スタイルから選択してください。

• ai_classify 、 ai_extract 、 ai_parse_documentなどの タスク固有の関数は 単一タスク用に最適化されており、 Databricksが管理する研究に裏付けられたシステムを使用します。
• ai_query は汎用関数です。独自のプロンプトを作成し、サポートされている任意の基盤モデルを選択します。Use ai_queryを参照してください。

エンドツーエンドの例については、 AI Functionsを使用した顧客レビューの分析」を参照してください。