Databricksでの生成AIアプリ構築入門

Mosaic AIは、GenAIアプリケーションを構築、デプロイ、管理するための包括的なプラットフォームを提供します。この記事では、Databricks での GenAI アプリケーションの開発に関連する基本的なコンポーネントとプロセスについて説明します。

生成AI モデルのデプロイとクエリ

単純なユースケースでは、高品質のオープンソースモデルや、OpenAI や Anthropic などの LLM プロバイダーのサードパーティモデルなど、ジェネレーション AI モデルを直接提供してクエリを実行できます。

Mosaic AI Model Servingでは、次の機能を使用した生成AIモデルのサービングとクエリをサポートします。

基盤モデルAPI 。この機能により、最先端のオープンモデルとファインチューンされたモデルの派生形をモデルサービングエンドポイントで利用できるようになります。これらのモデルは、最適化された推論をサポートするキュレーションされた基盤モデルアーキテクチャです。 DBRX Instruct、Llama-2-70B-chat、BGE-Large、 Mistral -7B などの基本モデルは、トークン単位の従量課金価格ですぐに使用でき、ファインチューニングされたモデルの派生形などのパフォーマンス保証を必要とするワークロードは、プロビジョン済みスループットを用いてデプロイできます。
外部モデル。これらは、の外部でホストされている生成AI モデルです。Databricks外部モデルを提供するエンドポイントを一元管理し、顧客はレート制限とアクセス制御を確立できます。例としては、OpenAIのGPT-4、AnthropicのClaudeなどの基盤モデルが含まれます。

Mosaic AI Agent Framework、開発者が Retrieval Augmented Generation (RAG) アプリケーションのような本番運用品質のエージェントを構築、デプロイ、評価できるように設計された、Databricks 上の一連のツールで構成されています。

LangChainやLlamaIndexなどのサードパーティフレームワークと互換性があるため、好みのフレームワークで開発でき、Databricks管理Unity Catalog、エージェント評価フレームワーク、およびその他のプラットフォームの利点を活用しながら開発できます。

以下の特性を活用することで、エージェント開発を迅速に反復させることができます。

任意のライブラリと MLflow を使用してエージェントを作成し、ログに記録します。エージェントをエクスペリメントにパラメータ化し、エージェント開発を迅速に反復します。
エージェントトレースを使用すると、エージェントコード全体のトレースの記録、分析、比較が可能になるため、エージェントがリクエストにどのように対応しているかをデバッグして理解できます。
DSPyを使用してエージェントの品質を向上させます。 DSPyは、プロンプトエンジニアリングとファインチューニングを自動化して、GenAIエージェントの品質を向上させることができます。
トークンのストリーミングとリクエスト/レスポンスのロギングをネイティブサポートしているため、エージェントの本番環境へのデプロイが可能です。また、エージェントに対するユーザーフィードバックを収集するためのレビューアプリも搭載されています。