DatabricksでLLMとエージェントを検索する

Databricksは、大規模言語モデル（LLM）、基盤モデル、およびデプロイ済みエージェントを照会するための複数の方法を提供します。ワークフローに応じて、対話型 UI、 SQL 、 REST APIs 、またはクライアント ライブラリを選択します。

AI Playground

AI Playground 、LLM のプロンプトと比較を行うためのDatabricksワークスペース内のノーコード チャット環境です。 これを使用して、プロンプトを体験したり、温度や最大アセトンなどのチューニングを調整したり、コードに移る前にツール呼び出しエージェントと質問応答ボットを並べてプロトタイプ化したりできます。

AI関数を使用したデータの拡充

AI Functions 、 Databricksに格納されているデータに LLM およびその他のモデルを適用する組み込みSQL関数です。 これらをDatabricks SQL 、ノートブック、 LakeFlow Spark宣言型パイプライン、またはワークフローから実行して、サポート チケットの分類、ドキュメントからのエンティティの抽出、コンテンツの要約、バッチ スケールでのテキストの翻訳を行います。

2種類の機能スタイルから選択してください。

• ai_classify 、 ai_extract 、 ai_parse_documentなどの タスク固有の関数は 単一タスク用に最適化されており、 Databricksが管理する研究に裏付けられたシステムを使用します。
• ai_query は汎用関数です。独自のプロンプトを指定し、サポートされている任意の基盤モデルを選択してください。使用法ai_queryを参照してください。

エンドツーエンドの例については、 AI Functionsを使用した顧客レビューの分析」を参照してください。

クエリエージェント

エージェントを構築してデプロイしたら、アプリケーションからエージェントにクエリを実行します。エージェントはDatabricks AppsまたはMosaic AI Model Servingエンドポイント上でホストできます。 Databricksは3つのクエリ方法をサポートしています。

• Databricks OpenAI Client ― ネイティブストリーミングとフル機能サポートを備え、新規アプリケーションに推奨されます。
• OpenAI互換のREST API ― 言語に依存せず、OpenAI APIに対応しているあらゆるプラットフォームで動作します。
• ai_query — SQL から Model Serving エンドポイントでホストされているレガシー エージェントにクエリを実行します。

基盤モデル

Mosaic AI Model Servingは、統一されたAPIの背後で、オープンモデル、Databricks管理モデル、および外部基盤モデルをホストします。ワークロードに合ったデプロイメントオプションを選択してください。

• 社内 単位の従量課金 — インフラストラクチャのコミットメントなしで、ワークスペース内の事前構成されたエンドポイントをクエリします。 実験には最適です。
• プロビジョニング スループット - 本番運用向けに最適化されたサービスとパフォーマンス保証を備えた微調整されたモデルを展開します。
• 外部モデル — Databricksのガバナンスを通じて、OpenAIやAnthropicなどのプロバイダーにリクエストをルーティングします。