AIアプリの構築における主な課題
最新の AI モデルの強力さにもかかわらず、本番運用グレードの AI アプリケーションを構築することは、多くの場合困難です。3 つの主要な課題は次のようにまとめられます。
- ガバナンス ：多くのプラットフォームは、データおよびAI資産に対する統一的なガバナンス、データプライバシー、およびセキュリティを提供することに苦慮している。
- 品質 ：AI モデルの柔軟で予測不可能な動作は、評価に複雑さを加えます。
- 制御 ：プラットフォームは、柔軟性、モデル選択、およびカスタマイズ機能を提供する必要がある。
データとAIのガバナンス
AIアプリケーションには、テーブル、ベクトルインデックス、AIモデル、ツールなど、多様なデータとAIアセットが必要です。AIプラットフォームは、これらのアセットに対するきめ細かなアクセスを開発者に提供するとともに、管理者には共同ガバナンスを提供する必要があります。完全なガバナンスがなければ、組織は次のようなリスクに直面します。
- データ漏洩: 適切な追跡とアクセス制御がないと、機密性の高い顧客データや企業データが悪用される可能性があり、適切なガードレールが適用されないと、データがモデル出力を通じて意図せず漏洩する可能性があります。
- コンプライアンスの制限：多くの組織には SOC2 や HIPPA などのコンプライアンス要件があり、AI モデルを準拠する従来のプラットフォームに統合することは複雑になる可能性があり、最適なモデルの使用に遅延や制限が生じる可能性があります。
- 不正使用または予期せぬコスト：アクセス制御や使用制限がない場合、AIモデルが不正なチームによって使用されたり、高額な使用コストが発生したりする可能性があります。
Databricksは、以下の方法でデータとAIの統合ガバナンスを簡素化します。
- Unity Catalog 、統一されたガバナンスモデルの下で、ファイル、テーブル、ベクターインデックス、フィーチャーストア、モデル、ツールを管理します。
- AIゲートウェイ: 安全ガードレールや使用制限など、 AIモデルのエンドポイントに統合ガバナンスとモニタリングを提供します。
- Databricks AIセキュリティフレームワークは、AIリスク管理に関する包括的なガイドを提供します。
- Databricks AIガバナンスフレームワークは、セキュリティと運用上の完全性の両方を網羅するガバナンスの視点を提供することで、セキュリティフレームワークを補完します。
モデル、エージェント、アプリの品質
AIモデルはオープンエンドの確率的出力生成を行い、多くの「良い」回答があるオープンエンドの問題に適用されることがよくあります。「高品質」の定義自体が難しく、ドメインエキスパートやユーザーからの反復的なフィードバックを必要とすることがよくあります。堅牢な評価プロセスがなければ、組織は次のようなリスクに直面します。
- ユーザーエクスペリエンスの低下：ユーザーのニーズに沿ったメトリクスに基づいてAIアプリが評価されない場合、ユーザーは応答を役に立たない、不正確、あるいは有害または不快だと感じる可能性があります。最悪の場合、ブランドの評判は損なわれる可能性があります。
- 開発の停滞：関係者の承認を得られる形で品質を定義または測定できない場合、AIプロジェクトは品質の「証明」がないために遅延または中止される可能性があります。
Databricksは、以下の方法でAIの品質測定と最適化を簡素化します。
-
MLflow評価とモニタリング。品質を測定するためのジャッジとカスタム スコアラーが組み込まれており、開発と本番運用モニタリングの両方で使用できます。
-
MLflow Tracing 、自動トレーシングと手動トレーシングの両方を備え、開発と運用の両方に可観測性を提供します。
-
人間によるフィードバックの収集。開発中の専門家によるフィードバック用の統合アプリと、本番運用アプリからのユーザー フィードバック用のAPIs備えています。
-
品質、コスト、レイテンシーのトレードオフを最適化するための方法Knowledge Assistantは、QAチャットボット向けのガイド付きの最適化エクスペリエンスを提供し、Custom AgentsとAIモデルの柔軟な選択肢は、完全にカスタムされたエージェント向けにトレードオフの選択肢を提供します。
データとモデルの制御
最先端のAIモデルは、多くのモデルプロバイダーによって提供されており、自己ホスト型のオープンソースオプションもあります。データプライバシーとライセンスの複雑さのため、多くのプラットフォームは、この多様なエコシステムをサポートし、迅速なイテレーションとカスタマイズを可能にすることに苦労しています。組織は、データの制御とモデルに対する選択権を維持し、次のようなリスクを避ける必要があります：
- データプライバシーの制限：コンプライアンスまたは統合の要件により、組織は複数のプロバイダーの最高のAIモデルにアクセスすることが妨げられ、柔軟性や品質とコストのトレードオフが犠牲になる可能性があります。
- 競争優位性の欠如：モデル、データ、エージェント、アプリケーションが組織の独自データに基づいてカスタマイズできない場合、知的財産を構築することは困難です。
Databricksは、以下の機能を通じてデータとモデルに対する制御と柔軟性を提供します。
- モデルAPIs 、 Model Servingのカスタムモデルやエージェントと並んで、トップモデルプロバイダーからの最先端モデルを独自のDatabricks環境で提供します。
- お客様独自のデータに基づいて構築された、カスタマイズされたアプリ、エージェント、モデル、ツール、およびデータソース。これらのAIレベルはすべて、アプリやエージェントの構築から、ツールを通じたデータの提供、そしてデータに基づいたエージェントの評価と最適化まで、データインテリジェンスをサポートします。