生成AIアプリの構築における主な課題
最新の GenAI モデルの能力にもかかわらず、本番運用グレードの生成AIアプリケーションの構築は困難なことがよくあります。 3 つの主な課題は次のように要約できます。
- ガバナンス : 多くのプラットフォームは、データと AI 資産に対する統一されたガバナンス、データ プライバシー、セキュリティの提供に苦労しています。
- 品質 : GenAI モデルの柔軟かつ予測不可能な動作により、評価が複雑になります。
- 制御 : プラットフォームは柔軟性、モデルの選択、カスタマイズを提供する必要があります。
データとAIのガバナンス
GenAI アプリケーションには、テーブル、ベクター インデックス、AI モデル、ツールなど、多様なデータと AI アセットが必要です。GenAI プラットフォームは、管理者に共同ガバナンスを提供しながら、開発者にこれらの資産へのきめ細かなアクセスを提供する必要があります。完全なガバナンスがなければ、組織は次のようなリスクに直面します。
- データ漏洩: 適切な追跡とアクセス制御がなければ、機密性の高い顧客データや企業データが悪用される可能性があり、適切なガードレールが実施されていない場合は、モデル出力を通じてデータが誤って漏洩する可能性があります。
- コンプライアンスの制限: 多くの組織には SOC2 や HIPPA などのコンプライアンス要件があり、GenAI モデルを準拠したレガシー プラットフォームに統合することは複雑になる可能性があり、最適なモデルの使用に遅延や制限が生じる可能性があります。
- 不正使用または予期しないコスト: アクセス制御と使用ガードレールがないと、AI モデルが不正なチームによって使用されたり、高額な使用コストが発生したりする可能性があります。
Databricks は、次の方法でデータと AI の統合ガバナンスを簡素化します。
- Unity Catalog 、統一されたガバナンス モデルの下でファイル、テーブル、ベクター インデックス、Feature Store、モデル、ツールを管理します。
- AIゲートウェイ: 安全ガードレールや使用制限など、 AIモデルのエンドポイントに統合ガバナンスとモニタリングを提供します。
- AIリスク管理の包括的なガイドを提供するDatabricks AIセキュリティフレームワーク
- Databricks AIガバナンスフレームワークは、セキュリティと運用の整合性の両方にわたるガバナンスの視点を提供することで、セキュリティフレームワークを補完します。
モデル、エージェント、アプリの品質
GenAI モデルは、オープンエンドの確率的出力を生成し、多くの「良い」答えがあるオープンエンドの問題によく適用されます。「高品質」を定義することさえ難しい場合があり、ドメインの専門家やユーザーからの反復的なフィードバックが必要になることがよくあります。堅牢な評価プロセスがなければ、組織は次のようなリスクに直面します。
- 悪いユーザー エクスペリエンス: GenAI アプリがユーザーのニーズに合わせたメトリクスに基づいて評価されない場合、ユーザーは応答が役に立たない、不正確、または有害または不快だと感じる可能性があります。 極端な場合にはブランドの評判が損なわれる可能性があります。
- 開発の宙ぶらりん状態: 利害関係者の承認が得られる方法で品質を定義または測定できない場合、品質の「証明」がないため、GenAI プロジェクトが遅延またはキャンセルされる可能性があります。
Databricks は、次の方法で AI 品質の測定と最適化を簡素化します。
-
MLflow評価とモニタリング。品質を測定するためのジャッジとカスタム スコアラーが組み込まれており、開発と本番運用モニタリングの両方で使用できます。
-
MLflow Tracing 、自動と手動の両方のトレースを備え、開発と運用の両方に観測可能性を提供します。
-
人間によるフィードバックの収集。開発中の専門家によるフィードバック用の統合アプリと、本番運用アプリからのユーザー フィードバック用のAPIs備えています。
-
品質、コスト、レイテンシーの間のトレードオフを最適化する方法。エージェント フレームワークとAI モデルの柔軟な選択により、完全にカスタマイズされたエージェントにトレードオフ オプションが提供されます。
データとモデルの制御
最先端の GenAI モデルは、多くのモデルプロバイダーや、セルフホスト型のオープンソース オプションによって提供されています。データのプライバシーとライセンスの複雑さのため、多くのプラットフォームは、この多様なエコシステムをサポートし、迅速な反復とカスタマイズを可能にするのに苦労しています。組織は、次のようなリスクを回避するために、データとモデルの選択を管理する必要があります。
- データ プライバシーの制限: コンプライアンスまたは統合の要件により、組織は複数のプロバイダーのトップ GenAI モデルにアクセスできなくなり、柔軟性と品質とコストのトレードオフが犠牲になる可能性があります。
- 競争力の欠如: モデル、データ、エージェント、アプリケーションが組織の独自のデータに基づいてカスタマイズできない場合、知的財産を構築することは困難です。
Databricks は、以下を通じてデータとモデルに対する制御と柔軟性を提供します。
- 基盤モデルAPIs 、モデルサービングのカスタムモデルやエージェントとともに、独自のDatabricks環境でトップ モデル プロバイダーからのフロンティア モデルを提供します。
- 独自のデータを中心に構築された、カスタマイズされたアプリ、エージェント、モデル、ツール、およびデータ ソース。 これらすべてのレベルの AI は、アプリやエージェントの構築から、ツールを介したデータの提供、データに基づいたエージェントの評価と最適化まで、データ インテリジェンスをサポートします。