Crie aplicativos de IA generativa usando DSPy no Databricks
Este artigo descreve o DSPy e fornece Notebooks de exemplo que demonstram como usar o DSPy no Databricks para construir e otimizar agentes de AI generativa.
O que é DSPy?
O DSPy é um framework para definir e otimizar programaticamente agentes de AI generativos. O DSPy pode automatizar a engenharia de prompts e orquestrar o ajuste fino de LLMs para melhorar o desempenho.
DSPy consiste em vários componentes que simplificam o desenvolvimento e melhoram a qualidade do agente:
- **Módulos**: No DSPy, estes são componentes que lidam com transformações de texto específicas, como responder a perguntas ou resumir. Eles substituem os prompts tradicionais escritos à mão e podem aprender com exemplos, tornando-os mais adaptáveis.
- Assinaturas: Uma descrição em linguagem natural do comportamento de entrada e saída de um módulo. Por exemplo, “pergunta -> resposta” especifica que o módulo deve receber uma pergunta como entrada e retornar uma resposta.
- Compilador : esta é a ferramenta de otimização do DSPy. Ele melhora os pipelines de LM ajustando módulos para atender a uma métrica de desempenho, seja gerando prompts melhores ou ajustando modelos.
- Programa (DSPy) : Um conjunto de módulos conectados em um pipeline para executar tarefas complexas. Programas DSPy são flexíveis, permitindo otimizá-los e adaptá-los usando o compilador.
Crie um programa DSPy de classificador de texto
O notebook a seguir mostra como criar um programa DSPy que executa classificação de texto. Este exemplo demonstra como o DSPy funciona e os componentes que ele usa.
Crie um notebook de programa DSPy para classificação de texto.
Use um índice de AI Search com um programa DSPy para RAG
O Notebook a seguir mostra como criar um Índice de Pesquisa de AI e usá-lo com um programa DSPy que executa RAG.
Crie um notebook de programa DSPy para classificação de texto.
Sistema multiagente com Genie e DSPy
O notebook a seguir mostra como criar um sistema multiagente que orquestra estes tipos de agentes:
- Genie Spaces
- Agentes implantados no Model Serving
- Agentes de chamada de função UC criados usando DSPy.
Multiagente usando Genie e DSPy
Crie um programa DSPy para RAG
Estes notebooks mostram como criar e otimizar um programa RAG básico usando o DSPy. Estes notebooks presumem que o senhor está usando compute serverless, e eles instalam pacotes no nível do notebook para garantir que sejam executados independentemente da versão do Databricks Runtime.
Parte 1: prepare os dados e o índice de pesquisa de AI para um Notebook de programa RAG DSPy
Parte 2: Criar e otimizar um programa DSPy para notebook RAG
Migrar LangChain para DSPy
Esses notebooks mostram como migrar código de modelo LangChain para DSPy e otimizá-lo para melhor desempenho. Esses notebooks assumem que você está usando compute serverless, e eles instalam pacotes no nível do notebook para garantir que sejam executados independentemente da versão do Databricks Runtime.