生成AIエージェントとモデルを展開する
Mosaic AI Model Servingこの記事では、生成 アプリケーション用の生成AI エージェントとモデルをデプロイするためのAI サポートについて説明します。
生成AIエージェントとは何ですか?
生成AIエージェントは、タスクを実行するためにどのステップを実行するかを決定するために、大規模言語モデルとユーザー入力に依存する複合AIシステムです。 「AI エージェントの作成とログ記録」を参照してください。
生成AIモデルとは何ですか?
生成AIモデルは、テキスト、画像、コードなどの入力から新しいコンテンツを作成します。 これらのモデルは大規模なデータセットでトレーニングされ、ディープラーニングを使用して既存のデータ内のパターンと構造を識別し、学習した内容に基づいて新しいコンテンツを生成します。
基盤モデルは生成AIモデルの一種です。 これらのモデルは、より具体的な言語理解および生成タスクに合わせて微調整されることを目的として事前にトレーニングされています。
生成AIエージェントを展開する
Databricksでは、Mosaic AIエージェント フレームワークのdeploy()
メソッドを用いた生成AI エージェントのデプロイをサポートしています。このメソッドは、次のものを自動的に作成します。
モデルサービングを使用した展開およびテスト用の CPU エンドポイント。
関係者がエージェントと対話し、フィードバックを記録できる エージェント評価レビュー アプリ への URL。
エージェントのデプロイの詳細については、 AI生成アプリケーション用のエージェントのデプロイを参照してください。
生成AIモデルを展開する
Mosaic AI Model Servingでは、次の機能を使用した生成AIモデルのサービングとクエリをサポートします。
基盤モデルAPI 。 この機能により、最先端のオープン モデルとファインチューンされたモデルの派生形をモデルサービング エンドポイントで利用できるようになります。 これらのモデルは、最適化された推論をサポートする厳選された基盤モデル アーキテクチャです。 DBRX Instruct、Llama-2-70B-chat、BGE-Large、 Mistral -7B などの基本モデルは、トークン単位の従量課金価格ですぐに使用でき、ファインチューニングされたモデルの派生形などのパフォーマンス保証を必要とするワークロードは、プロビジョン済みスループットを用いてデプロイできます。
外部モデル。 これらは、 の外部でホストされる生成AI モデルです。Databricks外部モデルを提供するエンドポイントは集中管理でき、顧客はエンドポイントに対してレート制限とアクセス制御を確立できます。 例としては、OpenAI の GPT-4 やAnthropicの Claude などの基盤モデルが挙げられます。
Databricks で基盤モデルをクエリする方法の入門チュートリアルについては、 「Databricks で LLM のクエリを開始する」を参照してください。
AIモデル生成エンドポイントを作成する
AIモデル生成エンドポイントの作成を参照してください。