Créez des applications d'IA générative à l'aide de DSPy sur Databricks
Cet article décrit DSPy et fournit des exemples de Notebooks démontrant comment utiliser DSPy sur Databricks pour créer et optimiser des agents d'IA générative.
Qu'est-ce que DSPy ?
DSPy est un framework pour la définition et l'optimisation programmatiques d'agents d'IA générative. DSPy peut automatiser l'ingénierie des invites et orchestrer l'affinement des LLM pour améliorer les performances.
DSPy se compose de plusieurs composants qui simplifient le développement d'agents et améliorent la qualité des agents :
- Modules : Dans DSPy, ce sont des composants qui gèrent des transformations de texte spécifiques, comme la réponse aux questions ou le résumé. Elles remplacent les invites traditionnelles écrites à la main et peuvent apprendre à partir d'exemples, ce qui les rend plus adaptables.
- Signatures : description en langage naturel du comportement d’entrée et de sortie d’un module. Par exemple, « question -> réponse » spécifie que le module doit prendre une question en entrée et renvoyer une réponse.
- **Compiler** : Il s'agit de l'outil d'optimisation de DSPy. Il améliore les pipelines LM en ajustant les modules pour atteindre une métrique de performance, soit en générant de meilleurs prompts, soit en affinant les modèles.
- Programme (DSPy) : Un ensemble de modules connectés en un pipeline pour exécuter des tâches complexes. Les programmes DSPy sont flexibles, vous permettant de les optimiser et de les adapter à l'aide du compilateur.
Créer un programme DSPy de classification de texte
Le Notebook suivant montre comment créer un programme DSPy qui effectue une classification de texte. Cet exemple démontre le fonctionnement de DSPy et les composants qu'il utilise.
Créez un notebook de programme DSPy de classification de texte
Utiliser un index de recherche IA avec un programme DSPy pour le RAG
Le Notebook suivant montre comment créer un index de recherche IA et l'utiliser avec un programme DSPy qui effectue le RAG.
Créez un notebook de programme DSPy de classification de texte
Système multi-agents avec Genie et DSPy
Le Notebook suivant vous montre comment créer un système multi-agents qui orchestre ces types d'agents :
- Agents Genie
- Agents déployés sur Model Serving
- Agents d’appel de fonctions UC créés à l’aide de DSPy.
Multi-agents utilisant Genie et DSPy
Créer un programme DSPy pour le RAG
Ces notebooks vous montrent comment créer et optimiser un programme RAG de base utilisant DSPy. Ces notebooks supposent que vous utilisez le compute Serverless, et ils installent des packages au niveau du notebook pour s’assurer qu’ils s’exécutent indépendamment de la version de Databricks Runtime.
Partie 1 : Préparer les données et l'index de recherche IA pour un notebook de programme DSPy RAG
Partie 2 : Créez et optimisez un programme DSPy pour un Notebook RAG
Migrer LangChain vers DSPy
Ces Notebooks montrent comment migrer le code de modèle LangChain vers DSPy et l'optimiser pour de meilleures performances. Ces notebooks supposent que vous utilisez le compute Serverless, et ils installent des packages au niveau du notebook pour s’assurer qu’ils s’exécutent indépendamment de la version de Databricks Runtime.