Principais desafios na criação de aplicativos da geração AI
Mesmo com um LLM altamente capacitado em seu núcleo, um aplicativo generativo de nível de produção AI geralmente encontra desafios em três áreas principais:
- qualidade
- controle
- Custo
Na prática, as equipes precisam enfrentar os três desafios simultaneamente para executar os aplicativos gen AI na produção.
Qualidade em nível de produção de edifícios
- Desempenho imprevisível: os LLMs podem produzir resultados inconsistentes ou inesperados. Um prompt que funciona em um dia pode falhar no dia seguinte se o modelo ou o contexto mudarem.
- Precisão e segurança das respostas: os desenvolvedores devem garantir que as respostas sejam corretas e seguras. Saídas incorretas (alucinações) ou conteúdo prejudicial e ofensivo podem prejudicar a confiança do usuário, a reputação da marca ou até mesmo violar regulamentações.
- Definição de “alta qualidade”: os especialistas do domínio geralmente precisam contribuir com seu conhecimento especializado para avaliar os resultados e refinar a lógica imediata. Essa colaboração exige ferramentas que partes interessadas não técnicas possam usar.
Controle de dados e modelos
- Vazamento de dados: dados confidenciais de clientes ou empresas podem vazar inadvertidamente pelas saídas do modelo se as barreiras de proteção e as etapas de higienização adequadas não forem aplicadas.
- Governança e propriedade: Muitas organizações já têm protocolos de governança de dados ou requisitos do site compliance, por exemplo, SOC2 ou HIPAA. Integrar LLMs a essas estruturas pode ser complexo, especialmente se o modelo for hospedado externamente.
- Observabilidade: as equipes precisam rastrear cada solicitação, resposta e ação intermediária no aplicativo para auditar as decisões do modelo ou solucionar erros. Sem registro e rastreamento robustos, é difícil manter o compliance ou a causa-raiz dos problemas.
Custo em escala
- Custo x qualidade: As soluções baseadas em LLM podem se tornar caras em escala, especialmente quando se usam modelos mais avançados ou de raciocínio. As equipes precisam pesar o custo mais alto em relação aos ganhos de desempenho, muitas vezes empregando cache ou roteamento de modelo especializado para ficar dentro do orçamento sem sacrificar a qualidade.
- Tempo e complexidade do desenvolvedor: Além dos custos de inferência de modelos, a criação de aplicativos robustos do gen AI pode consumir muito tempo, especialmente ao incorporar vários componentes, como recuperadores, bancos de dados estruturados e terceiros APIs. Minimizar o esforço do desenvolvedor requer fluxo de trabalho simplificado e testes automatizados.