Aller au contenu principal
Dernière mise à jour le

Concepts : IA sur Databricks

Une application d'IA est une application qui utilise des modèles d'IA (tels que des grands modèles de langage, des modèles de génération d'images et des modèles de synthèse vocale) pour créer de nouvelles sorties, automatiser des tâches complexes ou engager des interactions intelligentes basées sur les entrées utilisateur.

Une application d'IA peut être alimentée par de simples appels à des LLM ou d'autres modèles d'IA, ou par des agents complexes. En savoir plus sur les niveaux de complexité.

Les agents, les outils, l’évaluation, les modèles et d’autres aspects des applications d'IA peuvent être personnalisés avec vos données propriétaires. Cette personnalisation data-driven conduit à l’ intelligence des données, vous permettant d'aller au-delà de l'intelligence générale offerte par les modèles d'IA prédéfinis.

Applications d'IA​

Une application d'IA destinée aux utilisateurs peut prendre de nombreuses formes, telles que :

Le succès des applications d'IA nécessite souvent deux ensembles de compétences : le développement d'applications et l'évaluation de l'IA. Le développement d'applications d'IA est très similaire au développement d'applications non-IA, nécessitant des compétences en outil/solution/technologie/plateforme qui dépendent du type d'application. Cependant, l'évaluation des applications d'IA nécessite des outils et des techniques spécialisés pour gérer la complexité et les réponses ouvertes de l'IA.

Pour en savoir plus sur la création d'applications d'IA spécifiques aux secteurs d'activité sur Databricks, voir :

Évaluation de l'IA​

Les modèles, agents et applications d'IA présentent souvent un comportement complexe et ouvert. Les utilisateurs peuvent être autorisés à saisir n'importe quelle query. Un agent peut être autorisé à collecter du texte, des images et plus encore pendant l'exécution. La sortie peut être du texte arbitraire, des images ou d'autres médias, et il peut y avoir de nombreuses « bonnes » réponses.

Ces complexités rendent l'évaluation de l'IA difficile. L'évaluation correcte nécessite :

  • Automatisation utilisant l'IA pour évaluer l'IA
  • Commentaires humains d'experts et d'utilisateurs pour collecter la vérité terrain et calibrer l'évaluation automatisée.
  • Plonger en profondeur dans des agents complexes pour comprendre et déboguer leur comportement

MLflow géré par Databricks et les outils associés jettent les bases de l'évaluation de l'IA :

Agents​

Un agent ou un système d'agents est un système piloté par l'IA qui peut percevoir, décider et agir de manière autonome dans un environnement pour atteindre des objectifs . Contrairement à un modèle d'IA autonome qui ne produit un résultat que lorsqu'il est sollicité, un système d'agents possède un certain degré d' autonomie . Les agents modernes utilisent un modèle d'IA comme le « cerveau » d'un système qui :

  1. Reçoit les requêtes utilisateur ou les messages d'un autre agent.
  2. Raisons de la marche à suivre : quelles données récupérer, quelle logique appliquer, quels outils appeler, ou s'il faut demander plus d'informations à l'utilisateur.
  3. Exécute un plan et peut éventuellement appeler plusieurs outils ou déléguer à des sous-agents.
  4. Renvoie une réponse ou invite l'utilisateur à apporter des précisions supplémentaires.

En rapprochant l' intelligence générale (les capacités pré-entraînées du modèle d'IA) et l'intelligence des données (les connaissances spécialisées et les APIs spécifiques à votre entreprise), les systèmes d'agents permettent des cas d'utilisation d'entreprise à fort impact, tels que des flux de service client avancés, des robots d'analytique riches en données et l'orchestration multi-agents pour les tâches opérationnelles complexes.

Il existe un continuum entre les modèles d'IA simples et les agents complexes. Pour en savoir plus, consultez les modèles de conception de systèmes d'agents.

Databricks propose une gamme d'options pour la création d'agents, des plus entièrement guidés aux plus entièrement personnalisés :

  • AI Playground fournit une interface utilisateur pour prototyper des agents d'appel d'outils, à partir de laquelle vous pouvez exporter le code d'agent généré.
  • Les agents personnalisés vous permettent de créer et de déployer des agents à l'aide de code personnalisé ou de bibliothèques tierces de création d'agents.

Outils​

Les agents peuvent appeler des outils pour recueillir des informations ou effectuer des actions. Les outils sont des fonctions à interaction unique qu'un LLM peut appeler pour accomplir une tâche bien définie. Le modèle d'IA génère généralement des parameters pour chaque appel d'outil, et l'outil fournit une interaction entrée-sortie simple.

Les catégories d'outils courantes incluent :

  • Outils qui récupèrent ou analysent les données

    • Récupération sémantique : Interrogez un index vectoriel pour localiser du texte pertinent ou d'autres données non structurées.
    • Récupération structurée : Exécutez des requêtes SQL ou utilisez des APIs pour récupérer des informations structurées.
    • Outil de recherche web : Rechercher sur Internet ou un corpus web interne.
    • Modèles ML classiques : Invoquer des modèles de machine learning pour effectuer des classifications, des régressions ou d'autres prédictions.
    • Modèles d'IA : Générer des sorties spécialisées telles que du code ou des images.

  • Outils qui modifient l'état d'un système externe

    • API call : appelez les Endpoint CRM, les services internes ou d’autres intégrations tierces.
    • Intégration d'e-mail ou d'application de messagerie : publiez un message ou envoyez une notification.

  • Outils qui exécutent une logique ou effectuent une tâche spécifique

    • Exécution de code : Exécutez le code fourni par l'utilisateur ou généré par LLM dans un sandbox.

Les outils peuvent être intégrés à la logique d'agent ou accessibles à l'aide d'interfaces standardisées comme MCP.

Outils vs. agents :

  • Les outils effectuent une seule Opération bien définie. Les agents peuvent effectuer des tâches plus ouvertes.
  • Les outils sont généralement sans état et ne conservent pas de contexte continu au-delà de chaque appel. Les agents conservent leur état à mesure qu'ils résolvent les tâches de manière itérative.

Gestion des erreurs et sécurité de l'outil :

Étant donné que chaque appel d'outil est une opération externe, telle qu'un appel d'API, le système doit gérer les défaillances avec élégance. Les délais d'attente, les réponses mal formées ou les entrées non valides ne devraient pas entraîner la défaillance complète de l'agent lui-même. En production, limitez le nombre d'appels d'outils autorisés, prévoyez une réponse fallback si les appels d'outils échouent, et appliquez des garde-fous pour garantir que le système d'agent ne tente pas à plusieurs reprises la même action défaillante.

En savoir plus sur les outils d'IA dans Databricks :

Modèles d'IA et LLM​

Les grands modèles de langage (LLM) sont des modèles d'IA entraînés sur des ensembles de données textuelles massifs qui peuvent comprendre, générer et raisonner sur le langage humain. Les LLM alimentent des applications telles que les chatbots, les assistants de code et les outils de génération de contenu en prédisant et en produisant du texte contextuellement pertinent basé sur des invites d'entrée.

Plus généralement, les modèles d'IA ou les modèles de fondation sont entraînés sur de vastes données textuelles, d'image, vidéo, audio ou autres afin d'apprendre sur des modalités au-delà du texte. Les modèles multimodaux apprennent à connecter le langage humain aux images, à l'audio et à d'autres médias. Les LLM sont un type d'IA ou de modèle de fondation, bien que ces termes soient souvent utilisés de manière vague et interchangeable.

Les modèles d’IA sont à l’origine de l’intelligence des agents et des applications. Les applications simples sont souvent construites à l'aide d'un seul modèle personnalisé avec le Data Engineering des prompts.

Découvrir l'utilisation des modèles d'IA sur Databricks :

Ingénierie de prompt​

Les modèles d'IA prennent généralement des prompts, ou des instructions indiquant au modèle comment gérer l'entrée de l'utilisateur. Les prompts peuvent être fortement personnalisés avec des étapes détaillées, des connaissances d'experts, des données et d'autres informations.

Databricks propose des moyens flexibles de faire de l'ingénierie des prompts. Par exemple :

Qu'est-ce qu'une plateforme d'IA ?​

L'IA nécessite une plateforme de données et d'IA unifiée. Pour les développeurs comme pour les administrateurs, les composants clés de l'IA doivent être connectés et gouvernés au sein d'une plateforme simple et unifiée.

Les composants clés comprennent :

  • Les assets d’IA tels que les modèles, les agents et les applications
  • Assets de données tels que les fichiers, les tables, les pipelines de traitement, les index vectoriels et les magasins de fonctionnalités
  • Déploiements d'IA tels que les Endpoint pour les modèles et les agents
  • Outils pour la création et le déploiement d'assets d'IA et de données

Les principales capacités de gouvernance incluent :

Consultez également les capacités de Databricks AI et l’ architecture Databricks.

Intelligence générale vs. intelligence des données​

Diagramme comparant l'intelligence générale et l'intelligence des données.

  • L'intelligence générale fait référence à ce que le LLM sait intrinsèquement grâce à un pré-entraînement étendu sur des textes diversifiés. Ceci est utile pour la fluidité linguistique et le raisonnement général.
  • Intelligence des données désigne les données et les APIs spécifiques au domaine de votre organisation. Cela peut inclure des dossiers clients, des informations produit, des bases de connaissances ou des documents qui reflètent votre environnement métier unique.

Les systèmes d'agents combinent ces deux sources de connaissances : ils start avec la connaissance large et générique d'un LLM, puis intègrent des données en temps réel ou spécifiques au domaine pour répondre à des questions détaillées ou effectuer des actions spécialisées. Avec Databricks, vous pouvez intégrer l'intelligence des données dans vos applications d'IA à tous les niveaux :

IA vs. ML vs. deep learning​

Les frontières entre l'IA, le Machine Learning (ML) et le deep learning (DL) peuvent être floues. Ce guide se concentre sur l'IA, mais les fonctionnalités suivantes de la plateforme Databricks prennent en charge le ML, le deep learning et l'IA :

Ressources supplémentaires​

Sur cette page