Crie aplicativos generativos AI usando DSPy em Databricks
Este artigo descreve o DSPy e fornece um Notebook de exemplo que demonstra como usar o DSPy no site Databricks para criar e otimizar agentes generativos do AI.
O que é o DSpy?
O DSPy é uma estrutura para definir e otimizar programaticamente os agentes generativos do AI. O DSPy pode automatizar a engenharia imediata e orquestrar o ajuste fino do LLM para melhorar o desempenho.
O dSpy consiste em vários componentes que simplificam o desenvolvimento do agente e melhoram a qualidade do agente:
- Módulos : No DSPy, esses são componentes que lidam com transformações específicas de texto, como responder a perguntas ou resumir. Eles substituem as instruções manuscritas tradicionais e podem aprender com exemplos, tornando-as mais adaptáveis.
- Assinaturas : uma descrição em linguagem natural do comportamento de entrada e saída de um módulo. Por exemplo, “pergunta - resposta >” especifica que o módulo deve receber uma pergunta como entrada e retornar uma resposta.
- Compilador : Essa é a ferramenta de otimização do DSPy. Ele melhora o pipeline do LM ajustando os módulos para atender a um desempenho métrico, seja gerando melhores prompts ou ajustando os modelos.
- Program (DSPy) : Um conjunto de módulos conectados em um site pipeline para executar tarefas complexas. Os programas dSpy são flexíveis, permitindo que você os otimize e adapte usando o compilador.
Crie um programa classificador de texto dSpy
O Notebook a seguir mostra como criar um programa DSPy que realiza a classificação de textos. Este exemplo demonstra como o dSpy funciona e os componentes que ele usa.
Criar um programa DSPy de classificação de texto Notebook
Use um índice de pesquisa vetorial com um programa DSPy para RAG
O Notebook a seguir mostra como criar um índice de pesquisa vetorial e usá-lo com um programa DSPy que executa RAG.
Criar um programa DSPy de classificação de texto Notebook
Sistema multiagente com Genie e DSPy
O seguinte Notebook mostra como criar um sistema multiagente que orquestra esses tipos de agentes:
- Espaços Genie
- Agentes implantados no modelo de instalação
- Agentes de chamada de função UC construídos usando DSPy.
Multiagente usando Genie e DSPy
Crie um programa dSpy para RAG
Este Notebook mostra ao senhor como criar e otimizar um programa RAG básico usando o DSPy. Esses notebooks assumem que o senhor está usando serverless compute e instalam o pacote no nível do notebook para garantir que sejam executados independentemente da versão Databricks Runtime.
Parte 1: Preparar dados e índice de pesquisa vetorial para um programa RAG DSPy Notebook
Parte 2: Criar e otimizar um programa DSPy para o RAG Notebook
Migrar LangChain para DSPy
Este Notebook mostra como migrar o código do modelo LangChain para o DSPy e otimizá-lo para obter melhor desempenho. Esses notebooks assumem que o senhor está usando serverless compute e instalam o pacote no nível do notebook para garantir que sejam executados independentemente da versão Databricks Runtime.