Amazon
Web Services
Microsoft Azure
Google Cloud PlatformCrie aplicativos de genAI usando o DSPy na Databricks
Este artigo descreve o DSPy e fornece um Notebook de exemplo que demonstra como usar o DSPy no site Databricks para criar e otimizar agentes de IA generativos.
O que é o DSpy?
O DSPy é uma estrutura para definir e otimizar programaticamente agentes de IA generativos. O DSPy pode automatizar a engenharia imediata e orquestrar o ajuste fino do LLM para melhorar o desempenho.
O dSpy consiste em vários componentes que simplificam o desenvolvimento do agente e melhoram a qualidade do agente:
Módulos: No DSPy, esses são componentes que lidam com transformações específicas de texto, como responder a perguntas ou resumir. Eles substituem as instruções manuscritas tradicionais e podem aprender com exemplos, tornando-as mais adaptáveis.
Assinaturas: uma descrição em linguagem natural do comportamento de entrada e saída de um módulo. Por exemplo, “pergunta - resposta >” especifica que o módulo deve receber uma pergunta como entrada e retornar uma resposta.
Compilador: Esta é a ferramenta de otimização do dSpy. Ele melhora o pipeline do LM ajustando os módulos para atender a um desempenho métrico, seja gerando melhores prompts ou ajustando os modelos.
Program (DSPy): Um conjunto de módulos conectados em um site pipeline para executar tarefas complexas. Os programas dSpy são flexíveis, permitindo que você os otimize e adapte usando o compilador.
Crie um programa classificador de texto dSpy
O Notebook a seguir mostra como criar um programa DSPy que realiza a classificação de textos. Este exemplo demonstra como o dSpy funciona e os componentes que ele usa.
Crie um programa dSpy para RAG
Este Notebook mostra ao senhor como criar e otimizar um programa RAG básico usando o DSPy. Esses notebooks assumem que o senhor está usando serverless compute e instalam o pacote no nível do notebook para garantir que sejam executados independentemente da versão Databricks Runtime.
Migrar LangChain para DSPy
Este Notebook mostra como migrar o código do modelo LangChain para o DSPy e otimizá-lo para obter melhor desempenho. Esses notebooks assumem que o senhor está usando serverless compute e instalam o pacote no nível do notebook para garantir que sejam executados independentemente da versão Databricks Runtime.