Databricks での生成AI アプリの構築の概要

Mosaic AI は、生成AI アプリケーションを構築、デプロイ、管理するための包括的なプラットフォームを提供します。この記事では、Databricks での生成 AI アプリケーションの開発に関連する基本的なコンポーネントとプロセスについて説明します。

生成 AI モデルのデプロイとクエリ

単純なユースケースでは、高品質のオープンソースモデルや、OpenAI や Anthropic などの LLM プロバイダーのサードパーティモデルなど、生成 AI モデルを直接提供してクエリを実行できます。

Mosaic AI Model Servingでは、次の機能を使用した生成AIモデルのサービングとクエリをサポートします。

基盤モデル API。この機能により、最先端のオープンモデルと微調整されたモデルバリアントをモデルサービングエンドポイントで利用できるようになります。これらのモデルは、最適化された推論をサポートするキュレーションされた基盤モデルアーキテクチャです。 DBRX Instruct、Meta-Llama-3.1-70B-Instructなどの基本モデル、 GTE-Large と Mistral-7B は、 トークン単位の従量課金 ですぐに使用でき、ファインチューンされたモデルバリアントなど、パフォーマンス保証が必要なワークロードは、 プロビジョニングスループット を使用してデプロイできます。
外部モデル。これらは、の外部でホストされている生成AI モデルです。Databricks外部モデルを提供するエンドポイントを一元管理し、顧客はレート制限とアクセス制御を確立できます。例としては、OpenAIのGPT-4、AnthropicのClaudeなどの基盤モデルが含まれます。

Mosaic AI Agent Framework は、開発者が Retrieval Augmented Generation (RAG) アプリケーションのような本番運用品質のエージェントを構築、デプロイ、評価できるように設計された Databricks 上の一連のツールで構成されています。

LangChainやLlamaIndexなどのサードパーティフレームワークと互換性があるため、好みのフレームワークで開発でき、Databricks管理Unity Catalog、エージェント評価フレームワーク、およびその他のプラットフォームの利点を活用しながら開発できます。

以下の特性を活用することで、エージェント開発を迅速に反復させることができます。

任意のエージェント作成ライブラリと MLflow を使用して AI エージェントを作成します。エージェントをエクスペリメントにパラメータ化し、エージェント開発を迅速に反復します。
エージェントツールを作成して、LLMの機能を言語生成を超えて拡張します。
エージェントトレースを使用すると、エージェントコード全体のトレースをログに記録、分析、比較して、エージェントがリクエストにどのように応答するかをデバッグして理解できます。
エージェント評価は、エージェントの品質、コスト、およびレイテンシを評価して、品質の問題を特定し、それらの問題の根本原因を特定するのに役立ちます。
DSPyを使用してエージェントの品質を向上させます。DSPyは、プロンプトエンジニアリングとファインチューニングを自動化して、生成エージェントの品質を向上させる AI 。
トークンストリーミングとリクエスト/レスポンスロギングのネイティブサポートに加えて、エージェントに対するユーザーフィードバックを得るための組み込みレビューアプリを使用して、本番運用にエージェントをデプロイします。