Aller au contenu principal
Dernière mise à jour le

Concepts : IA générative sur Databricks

Une application GenAI est une application qui utilise des modèles d'IA générative (tels que les grands modèles de langage, les modèles de génération d'images et les modèles de synthèse vocale) pour créer de nouvelles sorties, automatiser des tâches complexes ou s'engager dans des interactions intelligentes basées sur les entrées de l'utilisateur.

Une application GenAI peut être alimentée par des appels simples à des LLM ou à d'autres modèles GenAI, ou par des agents IA complexes. En savoir plus sur les niveaux de complexité.

Les agents, les outils, l'évaluation, les modèles et d'autres aspects des applications GenAI peuvent être personnalisés avec vos données propriétaires. Cette personnalisation data-driven mène à l'intelligence des données, ce qui vous permet d'aller au-delà de l'intelligence générale offerte par les modèles d'IA prédéfinis.

Applications GenAI​

Une application GenAI destinée à l'utilisateur peut prendre de nombreuses formes, telles que :

Le succès des applications GenAI nécessite souvent deux ensembles de compétences : le développement d'applications et l'évaluation de l'IA. Le développement d'applications GenAI ressemble beaucoup au développement d'applications non-IA, nécessitant des compétences en matière de logiciel qui dépendent du type d'application. Cependant, l'évaluation des applications GenAI nécessite des outils et des techniques spécialisés pour gérer la complexité et les réponses ouvertes de GenAI.

Pour en savoir plus sur la création d'applications GenAI spécifiques aux secteurs d'activité sur Databricks, consultez :

Évaluation GenAI​

Les modèles, agents et applications GenAI présentent souvent des comportements complexes et ouverts. Les utilisateurs peuvent être autorisés à saisir n'importe quelle query. Un agent d'IA peut être autorisé à collecter du texte, des images et plus encore pendant l'exécution. La sortie peut être du texte, des images ou d'autres médias arbitraires, et il peut y avoir de nombreuses « bonnes » réponses.

Ces complications rendent l'évaluation de la GenAI difficile. Une évaluation appropriée nécessite :

  • Automatisation utilisant l'IA pour évaluer l'IA
  • Commentaires humains d'experts et d'utilisateurs pour collecter la vérité terrain et calibrer l'évaluation automatisée.
  • Plonger en profondeur dans des agents complexes pour comprendre et déboguer leur comportement

MLflow géré par Databricks et les outils associés constituent les bases de l'évaluation de GenAI :

Agents​

Un agent ou un système d'agents est un **système basé sur l'IA qui peut percevoir, décider et agir de manière autonome dans un environnement pour atteindre des objectifs**. Contrairement à un modèle GenAI autonome qui ne produit une sortie que lorsqu'il est sollicité, un système d'agents possède un certain degré d'**autonomie**. Les agents d'IA modernes utilisent un modèle GenAI comme le « cerveau » d'un système qui :

  1. Reçoit les requêtes utilisateur ou les messages d'un autre agent.
  2. Raisons de la marche à suivre : quelles données récupérer, quelle logique appliquer, quels outils appeler, ou s'il faut demander plus d'informations à l'utilisateur.
  3. Exécute un plan et peut éventuellement appeler plusieurs outils ou déléguer à des sous-agents.
  4. Renvoie une réponse ou invite l'utilisateur à apporter des précisions supplémentaires.

En reliant l' intelligence générale (les capacités pré-entraînées du modèle GenAI) et l'intelligence des données (les connaissances spécialisées et les APIs spécifiques à votre entreprise), les systèmes d'agents permettent des cas d'utilisation d'entreprise à fort impact, tels que des flux de service clients avancés, des bots d'analytique riches en données et une orchestration multi-agents pour des tâches opérationnelles complexes.

Il existe un continuum entre les modèles GenAI simples et les agents complexes. Pour en savoir plus, consultez Modèles de conception de systèmes d’agent.

Databricks propose une gamme d'options pour la création d'agents, des plus entièrement guidés aux plus entièrement personnalisés :

  • Knowledge Assistant et les fonctions d'IA fournissent des générateurs d'agents guidés.

  • AI Playground fournit une interface utilisateur pour prototyper des agents d'appel d'outils, à partir de laquelle vous pouvez exporter le code d'agent généré.

  • Les agents personnalisés vous permettent de créer et de déployer des agents à l'aide de code personnalisé ou de bibliothèques tierces de création d'agents.

Outils​

Les agents d'IA peuvent appeler des outils pour recueillir des informations ou effectuer des actions. Les outils sont des fonctions à interaction unique qu'un LLM peut appeler pour accomplir une tâche bien définie. Le modèle d'IA génère généralement des parameters pour chaque appel d'outil, et l'outil fournit une interaction simple d'entrée-sortie.

Les catégories d'outils courantes incluent :

  • Outils qui récupèrent ou analysent les données

    • Récupération sémantique : Interrogez un index vectoriel pour localiser du texte pertinent ou d'autres données non structurées.
    • Récupération structurée : Exécutez des requêtes SQL ou utilisez des APIs pour récupérer des informations structurées.
    • Outil de recherche web : Rechercher sur Internet ou un corpus web interne.
    • Modèles ML classiques : Invoquer des modèles de machine learning pour effectuer des classifications, des régressions ou d'autres prédictions.
    • Modèles GenAI : Génèrent des sorties spécialisées telles que du code ou des images.

  • Outils qui modifient l'état d'un système externe

    • API call : appelez les Endpoint CRM, les services internes ou d’autres intégrations tierces.
    • Intégration d'e-mail ou d'application de messagerie : publiez un message ou envoyez une notification.

  • Outils qui exécutent une logique ou effectuent une tâche spécifique

    • Exécution de code : Exécutez le code fourni par l'utilisateur ou généré par LLM dans un sandbox.

Les outils peuvent être intégrés à la logique d'agent ou accessibles à l'aide d'interfaces standardisées comme MCP.

Outils vs. agents :

  • Les outils effectuent une seule Opération bien définie. Les agents peuvent effectuer des tâches plus ouvertes.
  • Les outils sont généralement sans état et ne conservent pas de contexte continu au-delà de chaque appel. Les agents conservent leur état à mesure qu'ils résolvent les tâches de manière itérative.

Gestion des erreurs et sécurité de l'outil :

Étant donné que chaque appel d'outil est une opération externe, telle qu'un appel d'API, le système doit gérer les défaillances avec élégance. Les délais d'attente, les réponses mal formées ou les entrées non valides ne devraient pas entraîner la défaillance complète de l'agent lui-même. En production, limitez le nombre d'appels d'outils autorisés, prévoyez une réponse fallback si les appels d'outils échouent, et appliquez des garde-fous pour garantir que le système d'agent ne tente pas à plusieurs reprises la même action défaillante.

En savoir plus sur les outils d'IA dans Databricks :

Modèles GenAI et LLM​

Les grands modèles de langage (LLM) sont des modèles d'IA entraînés sur des ensembles de données textuelles massifs qui peuvent comprendre, générer et raisonner sur le langage humain. Les LLM alimentent des applications telles que les chatbots, les assistants de code et les outils de génération de contenu en prédisant et en produisant du texte contextuellement pertinent basé sur des invites d'entrée.

Plus généralement, les modèles GenAI ou les modèles de fondation sont entraînés sur des volumes massifs de texte, d'images, de vidéos, d'audio ou d'autres données afin d'apprendre des modes au-delà du texte. Les modèles multimodaux apprennent à connecter le langage humain avec les images, l'audio et d'autres médias. Les LLM sont un type de GenAI ou de modèle de fondation, même si ces termes sont souvent utilisés de façon approximative et de manière interchangeable.

Les modèles GenAI fournissent l'intelligence qui sous-tend les agents et applications GenAI. Les applications simples sont souvent conçues à l'aide d'un seul modèle personnalisé avec l'ingénierie de prompt.

En savoir plus sur l'utilisation des modèles GenAI sur Databricks :

Ingénierie de prompt​

Les modèles GenAI acceptent généralement des invites, ou des instructions indiquant au modèle comment gérer la saisie de l’utilisateur. Les invites peuvent être fortement personnalisées avec des étapes détaillées, des connaissances d’expert, des données et d’autres informations.

Databricks propose des moyens flexibles de faire de l'ingénierie des prompts. Par exemple :

Affinement des modèles​

Les modèles GenAI peuvent également être personnalisés par l'affinement, ce qui permet de personnaliser un modèle pour un domaine ou une application spécifique à l'aide de vos données personnalisées.

Databricks offre des moyens flexibles d'affiner les modèles. Par exemple :

  • Knowledge Assistant automatise la personnalisation data-driven, avec le potentiel de faire de l'affinement en coulisses.
  • Runtime IA fournit l'infrastructure de compute pour un affinement entièrement personnalisable. Voir des exemples.

Qu'est-ce qu'une plateforme GenAI ?​

La GenAI nécessite une plateforme de données + IA combinée. Pour les développeurs et les administrateurs, les composants clés de la GenAI doivent être connectés et régis sur une plateforme simple et unifiée.

Les composants clés comprennent :

  • Les assets d’IA tels que les modèles, les agents et les applications
  • Assets de données tels que les fichiers, les tables, les pipelines de traitement, les index vectoriels et les magasins de fonctionnalités
  • Déploiements d'IA tels que les Endpoint pour les modèles et les agents
  • Outils pour la création et le déploiement d'assets d'IA et de données

Les principales capacités de gouvernance incluent :

Voir aussi les fonctionnalités d’IA générative de Databricks et l’ architecture de Databricks.

Intelligence générale vs. intelligence des données​

Diagramme comparant l'intelligence générale et l'intelligence des données.

  • L'intelligence générale fait référence à ce que le LLM sait intrinsèquement grâce à un pré-entraînement étendu sur des textes diversifiés. Ceci est utile pour la fluidité linguistique et le raisonnement général.
  • Intelligence des données désigne les données et les APIs spécifiques au domaine de votre organisation. Cela peut inclure des dossiers clients, des informations produit, des bases de connaissances ou des documents qui reflètent votre environnement métier unique.

Les systèmes d'agents combinent ces deux sources de connaissances : Ils commencent par les connaissances vastes et génériques d'un LLM, puis intègrent des données en temps réel ou spécifiques au domaine pour répondre à des questions détaillées ou effectuer des actions spécialisées. Avec Databricks, vous pouvez intégrer l'intelligence des données dans vos applications GenAI à chaque niveau :

GenAI vs ML vs deep learning​

Les frontières entre l'intelligence artificielle générative (GenAI), le Machine Learning (ML) et l'apprentissage profond (DL) peuvent être floues. Ce guide se concentre sur la GenAI, mais les fonctionnalités suivantes de la plateforme Databricks prennent en charge le ML, le deep learning et la GenAI :

Ressources supplémentaires​

Sur cette page