生成AIアプリの構築における主な課題
最新の GenAI モデルの能力にもかかわらず、本番運用グレードの生成AIアプリケーションの構築は困難なことがよくあります。 主な課題は3つあり、以下のように要約できます。
- ガバナンス ：多くのプラットフォームは、データおよびAI資産に対する統一的なガバナンス、データプライバシー、およびセキュリティを提供することに苦慮している。
- 品質 ：GenAIモデルの柔軟かつ予測不可能な挙動は、評価を複雑にする。
- 制御 ：プラットフォームは、柔軟性、モデル選択、およびカスタマイズ機能を提供する必要がある。
データとAIのガバナンス
GenAIアプリケーションには、テーブル、ベクトルインデックス、AIモデル、ツールなど、多様なデータとAI資産が必要です。GenAIプラットフォームは、開発者に対してこれらの資産へのきめ細かなアクセスを提供すると同時に、管理者に対して共同ガバナンスを提供する必要がある。完全なガバナンスがなければ、組織は次のようなリスクに直面する。
- データ漏洩: 適切な追跡とアクセス制御がないと、機密性の高い顧客データや企業データが悪用される可能性があり、適切なガードレールが適用されないと、データがモデル出力を通じて意図せず漏洩する可能性があります。
- コンプライアンスの制限: 多くの組織には SOC2 や HIPPA などのコンプライアンス要件があり、GenAI モデルを準拠したレガシー プラットフォームに統合することは複雑になる可能性があり、最適なモデルの使用に遅延や制限が生じる可能性があります。
- 不正使用または予期せぬコスト：アクセス制御や使用制限がない場合、AIモデルが不正なチームによって使用されたり、高額な使用コストが発生したりする可能性があります。
Databricksは、以下の方法でデータとAIの統合ガバナンスを簡素化します。
- Unity Catalog 、統一されたガバナンスモデルの下で、ファイル、テーブル、ベクターインデックス、フィーチャーストア、モデル、ツールを管理します。
- AIゲートウェイ: 安全ガードレールや使用制限など、 AIモデルのエンドポイントに統合ガバナンスとモニタリングを提供します。
- Databricks AIセキュリティフレームワークは、AIリスク管理に関する包括的なガイドを提供します。
- Databricks AIガバナンスフレームワークは、セキュリティと運用上の完全性の両方を網羅するガバナンスの視点を提供することで、セキュリティフレームワークを補完します。
モデル、エージェント、アプリの品質
GenAIモデルは、自由度の高い確率的な出力を生成するため、多くの「良い」答えが存在するような、自由度の高い問題に適用されることが多い。「高品質」を定義すること自体が難しい場合があり、多くの場合、分野の専門家やユーザーからの反復的なフィードバックが必要となる。強固な評価プロセスがなければ、組織は次のようなリスクに直面する。
- ユーザーエクスペリエンスの悪化: GenAI アプリがユーザーのニーズに沿ったメトリクスに基づいて評価されない場合、ユーザーは回答が役に立たない、不正確、または有害または不快だと感じる可能性があります。 極端な場合、ブランドの評判は著しく損なわれる可能性がある。
- 開発の停滞：品質を定義または測定する方法が利害関係者の承認を得られるものでない場合、GenAIプロジェクトは品質の「証明」がないために遅延または中止される可能性がある。
Databricksは、以下の方法でAIの品質測定と最適化を簡素化します。
-
MLflow評価とモニタリング。品質を測定するためのジャッジとカスタム スコアラーが組み込まれており、開発と本番運用モニタリングの両方で使用できます。
-
MLflow Tracing 、自動トレーシングと手動トレーシングの両方を備え、開発と運用の両方に可観測性を提供します。
-
人間によるフィードバックの収集。開発中の専門家によるフィードバック用の統合アプリと、本番運用アプリからのユーザー フィードバック用のAPIs備えています。
-
品質、コスト、レイテンシーのトレードオフを最適化するための方法カスタムエージェント とAIモデルの柔軟な選択肢により、フルカスタムエージェント向けのトレードオフの選択肢が提供されます。
データとモデルの制御
最先端のGenAIモデルは、多くのモデルプロバイダーによって提供されており、自己ホスト型のオープンソースオプションも存在する。データプライバシーやライセンスの問題により、多くのプラットフォームは、この多様なエコシステムをサポートし、迅速な反復開発とカスタマイズを可能にすることに苦慮している。組織は、次のようなリスクを回避するために、データの管理権とモデルの選択権を維持する必要があります。
- データプライバシーの制限：コンプライアンス要件や統合要件により、組織は複数のプロバイダーから最先端のGenAIモデルにアクセスできなくなり、柔軟性や品質とコストのトレードオフが損なわれる可能性があります。
- 競争優位性の欠如：モデル、データ、エージェント、アプリケーションが組織の独自データに基づいてカスタマイズできない場合、知的財産を構築することは困難です。
Databricksは、以下の機能を通じてデータとモデルに対する制御と柔軟性を提供します。
- モデルAPIs 、 Model Servingのカスタムモデルやエージェントと並んで、トップモデルプロバイダーからの最先端モデルを独自のDatabricks環境で提供します。
- お客様独自のデータに基づいて構築された、カスタマイズされたアプリ、エージェント、モデル、ツール、およびデータソース。これらのAIレベルはすべて、アプリやエージェントの構築から、ツールを通じたデータの提供、そしてデータに基づいたエージェントの評価と最適化まで、データインテリジェンスをサポートします。