製品哲学

RAG Studioの製品哲学は、次の原則に支えられています。

品質の測定

  • メトリクスによる品質:客観的なメトリクスは、品質評価の基礎です。メトリクスは、RAGアプリケーションの品質とコスト/レイテンシーのパフォーマンスを評価し、改善すべき領域を特定するための指標を提供します。

  • 包括的な「常時オン」ロギング:メトリクスは、RAGアプリの任意の呼び出しに対してコンピュートできる場合に最適です。 そのため、開発中と本番運用の両方で、アプリのすべての呼び出しをログに記録する必要があります。 ログには、すべての入力と出力、および入力を出力に変換する詳細なステップをキャプチャする必要があります。

  • ベンチマークとしての人間からのフィードバック: 人間からのフィードバックの収集にはコストがかかりますが、品質指標としての価値は比類のないものです。 RAG Studioは、人間のフィードバックの収集を可能な限り効率的にするように設計されています。

  • LLMジャッジによるフィードバックのスケーリング:RAG LLMジャッジを人間のフィードバックと並行して利用することで、開発ループが加速し、人間の評価者の数を増やすことなく、開発サイクルを短縮できます。 しかし、RAG LLMのジャッジは代用ではなく、人間のフィードバックを補完するものです。

開発ライフサイクル

  • 迅速なイテレーション:RAGアプリケーションの新しいバージョンの作成とテストのサイクルは迅速でなければなりません

  • 手間のかからないバージョン管理: バージョンの追跡と管理はシームレスで、認知的負荷を軽減し、開発者が管理タスクではなくアプリケーションの強化に集中できるようにする必要があります。

  • 開発と本番運用が統合されている: 開発で使用されるツール、スキーマ、およびプロセスは、本番運用環境のものと一貫性があり、 同じコード ベースで開発からデプロイまでの品質向上のための一貫したワークフローを確保する必要があります。

品質向上の機会

RAG Studioは、RAGアプリケーション全体(モデル、データ処理パイプライン、チェーン)に質の高い機会が存在するという信念に基づいて構築されています。 RAG Studioは、これらのコンポーネントの相互接続された性質を認識しています:個々のコンポーネントは分離して最適化できますし、最適化する必要がありますが、これらの変更の影響はRAGアプリケーション全体のコンテキスト内で評価する必要があります。

RAGアプリケーションアーキテクチャのすべて