RAGスタジオ

プレビュー

この機能は プライベート プレビュー段階です。 お試しになるには、Databricks の担当者にお問い合わせください。

重要

RAG Studioのドキュメントをナビゲートするには、このインデックスページに戻ります。 プライベート プレビューのドキュメントには、サイド パネルのナビゲーション リンクは含まれていません。

概要

RAG Studioは、一貫性のある正確な回答を提供するアプリを構築するために、検索拡張世代(RAG)アプリケーションを開発、評価、および反復するためのツールと独自のワークフローを提供します。 RAG StudioはMLflow上に構築されており、Databricksのツールやインフラストラクチャと緊密に統合されています。

RAGアプリケーションの開発に関するRAG Studioの 製品哲学 の詳細については、こちらをご覧ください。

開発ワークフロー

品質を向上させるためのRAG Studioのアプローチは、開発者が次のことを迅速に行うことを容易にすることです。

  1. RAGアプリケーションの 📥 Data Ingestor🗃️ Data Processor🔍 Retriever、および 🔗 Chain 全体でさまざまなノブを調整して、新しい Version

  2. 📖 Evaluation Set🤖 LLM JudgeVersionをオフラインでテストする

  3. 💬 Review UIVersionをデプロイして、 🧠 Expert Users

  4. 📈 Evaluation Resultsを確認して、変更が品質、コスト、待機時間にプラスの影響を与えたかどうかを判断します

  5. 🗂️ Request Log👍 Assessment & Evaluation Results Logの詳細を調査して、品質、コスト、レイテンシーを改善する方法の仮説を特定します

  6. 必要に応じて、特定の 🗂️ Request Logに関する追加のフィードバックを 🧠 Expert Users から収集します。 💬 Review UI

  7. 品質/コスト/レイテンシーの目標に達するまで繰り返します。

  8. アプリケーションを本番運用にデプロイする

注:

重要なのは、上記と同じ開発ワークフローが本番運用トラフィックにも当てはまるということです。 ログ、評価、メトリクスのRAG Studioデータモデルは、開発と本番運用で完全に統合されています。

チュートリアル

チュートリアルでは、RAG Studio に含まれる完全な機能を備えたサンプル RAG アプリケーション (Databricks ドキュメントのドキュメント Q&A ボット) に基づいて、上記の主要な開発者ワークフローを実行する方法を示します。

重要

Databricks では、これらのチュートリアルに従うことから始めることをお勧めします。 次のチュートリアル#1#2では、サンプル アプリケーション用に完全に機能するチャット UI をデプロイします。 これらのチュートリアルは任意の順序で実行できますが、順番に実行するように設計されています。

  1. RAGアプリケーションの初期化

  2. 生データの取り込みまたは接続

  3. RAGアプリケーションのバージョンをデプロイする

  4. ログと評価の表示

  5. 評価セットを使用した📖オフライン評価の実行

  6. エキスパートユーザーからの🧠フィードバックの収集

  7. 📖 評価セットの作成

  8. RAGアプリケーションのバージョンを作成して、アプリの品質を反復処理します

  9. エキスパートユーザーからの要求ログに関する🗂️フィードバックの収集

  10. RAGアプリケーションを本番運用にデプロイする

コンセプトガイド

RAG Studioの概念とアーキテクチャの詳細については、これらのガイドを確認してください。