Principaux défis liés à la création d'applications GenAI
Malgré la puissance des modèles GenAI modernes, les applications d'IA générative de qualité production sont souvent difficiles à créer. Trois défis clés peuvent être résumés comme suit :
- Gouvernance : de nombreuses plateformes ont du mal à offrir une gouvernance unifiée, la confidentialité des données et la sécurité pour les assets de données et d'IA.
- Qualité : le comportement flexible et imprévisible des modèles GenAI ajoute de la complexité à l'évaluation.
- **Contrôle** : Les plateformes doivent offrir flexibilité, choix du modèle et personnalisation.
Gouvernance des données et de l'IA
Les applications GenAI nécessitent divers données et assets d'IA : tables, index vectoriels, modèles d'IA, outils, et plus encore. Une plateforme GenAI doit fournir un accès granulaire à ces assets aux développeurs, tout en assurant une gouvernance conjointe pour les administrateurs. Sans une gouvernance complète, les organisations font face à des risques tels que :
- Fuite de données : des données sensibles de clients ou d'entreprise peuvent être utilisées à mauvais escient sans un suivi de la traçabilité et un contrôle d'accès appropriés, et les données peuvent fuir par inadvertance via les sorties de modèle si des garde-fous adéquats ne sont pas appliqués.
- Restrictions de conformité : De nombreuses organisations ont des exigences de conformité telles que SOC2 ou HIPAA, et l'intégration des modèles GenAI dans des plateformes héritées conformes peut être complexe, ce qui entraîne des retards ou des restrictions dans l'utilisation des meilleurs modèles.
- Utilisation non autorisée ou coûts inattendus : Sans contrôles d'accès ni garde-fous d'utilisation, les modèles d'IA pourraient être utilisés par des équipes non autorisées ou entraîner des coûts d'utilisation élevés.
Databricks simplifie la gouvernance unifiée des données et de l'IA grâce à :
- Unity Catalog, qui gère les fichiers, les tables, les index vectoriels, les magasins de fonctionnalités, les modèles et les outils dans le cadre d'un modèle de gouvernance unifié
- AI Gateway, qui assure une gouvernance et un monitoring unifiés pour les Endpoint de modèle IA, y compris les garde-fous de sécurité et les limites d'utilisation
- Cadre de sécurité de Databricks AI, qui fournit un guide complet sur la gestion des risques liés à l'IA
- Cadre de gouvernance de Databricks AI, qui complète le Cadre de sécurité en offrant une vue de la gouvernance englobant à la fois la sécurité et l'intégrité opérationnelle
Qualité des modèles, des agents et des applications
Les modèles GenAI produisent des résultats ouverts et stochastiques et sont souvent appliqués à des problèmes ouverts avec de nombreuses « bonnes » réponses. Même la définition de la « haute qualité » peut être difficile et nécessite souvent une rétroaction itérative de la part des experts du domaine ou des utilisateurs. Sans processus d'évaluation robustes, les organisations sont confrontées à des risques tels que :
- Mauvaises expériences utilisateur : Si les applications GenAI ne sont pas évaluées en fonction de métriques alignées sur les besoins des utilisateurs, alors les utilisateurs peuvent trouver les réponses inutiles, inexactes, voire nuisibles ou offensantes. La réputation des marques peut souffrir dans les cas extrêmes.
- Immobilisme du développement : Si la qualité ne peut être définie ou mesurée de manière à permettre la validation des parties prenantes, les projets GenAI peuvent être retardés ou annulés par manque de « preuve » de qualité.
Databricks simplifie la mesure et l’optimisation de la qualité de l’IA grâce à :
-
MLflow Évaluation et monitoring, avec des juges intégrés et des scorers personnalisés pour mesurer la qualité, utilisable à la fois en développement et en monitoring de production
-
MLflow Tracing, avec traçage automatique et manuel pour assurer l'observabilité pour le développement et la production
-
Collecte de retours humains, avec une application intégrée pour les retours d'experts pendant le développement et des APIs pour les retours d'utilisateurs provenant d'applications de production
-
Méthodes pour optimiser les compromis entre qualité, coût et latence. Knowledge Assistant offre une expérience d'optimisation guidée pour les chatbots d'assurance qualité, et les agents personnalisés et un choix flexible de modèles d'IA offrent des options de compromis pour les agents entièrement personnalisés.
Contrôle des données et des modèles
Des modèles GenAI de pointe sont fournis par de nombreux fournisseurs de modèles, ainsi que des options open source auto-hébergées. En raison de la confidentialité des données et des complications de licence, de nombreuses plateformes ont du mal à prendre en charge cet écosystème diversifié et à permettre une itération et une personnalisation rapides. Les organisations doivent garder le contrôle de leurs données et le choix des modèles pour éviter les risques tels que :
- Restrictions relatives à la confidentialité des données : les exigences de conformité ou d'intégration peuvent empêcher les organisations d'accéder aux meilleurs modèles GenAI de plusieurs fournisseurs, sacrifiant ainsi la flexibilité et les compromis qualité-coût.
- Manque d'avantage concurrentiel : si les modèles, les données, les agents et les applications ne sont pas personnalisables en fonction des données propriétaires d'une organisation, il est difficile de développer de la propriété intellectuelle.
Databricks offre contrôle et flexibilité pour les données et les modèles grâce à :
- APIs de modèles de fondation, qui servent des modèles de pointe des principaux fournisseurs de modèles dans votre propre environnement Databricks, aux côtés de vos modèles et agents personnalisés dans Model Serving.
- Applications, agents, modèles, outils et sources de données personnalisés basés sur vos données propriétaires. Tous ces niveaux d'IA prennent en charge Data Intelligence, de la création d'applications et d'agents, à la fourniture de données par le biais d'outils, à l'évaluation et à l'optimisation des agents basées sur vos données.