Principais desafios na construção de aplicativos de IA
Apesar do poder dos modelos de AI modernos, aplicativos de AI de nível de produção são frequentemente desafiadores de construir. Três desafios key podem ser resumidos como:
- Governança : Muitas plataformas têm dificuldades em fornecer governança unificada, privacidade de dados e segurança para dados e atividades AI .
- Qualidade : O comportamento flexível e imprevisível dos modelos de AI adiciona complexidade à avaliação.
- Controle : As plataformas devem oferecer flexibilidade, opções de modelos e personalização.
Governança para dados e AI
As aplicações de AI exigem dados e ativos de AI diversos: tabelas, índices de vetores, modelos de AI, ferramentas e muito mais. Uma plataforma de AI deve fornecer acesso granular a esses ativos para desenvolvedores, ao mesmo tempo em que oferece governança conjunta para administradores. Sem governança completa, as organizações enfrentam riscos como:
- Vazamento de dados: Dados confidenciais de clientes ou da empresa podem ser usados indevidamente sem o devido rastreamento de linhagem e controle de acesso, e os dados podem vazar inadvertidamente por meio das saídas do modelo se as devidas salvaguardas não forem aplicadas.
- Restrições de compliance: Muitas organizações têm requisitos de compliance como SOC2 ou HIPAA, e integrar modelos de AI em plataformas legadas compatíveis pode ser complexo, levando a atrasos ou restrições no uso dos melhores modelos.
- Uso não autorizado ou custos inesperados: Sem controles de acesso e salvaguardas de uso, os modelos AI podem ser usados por equipes não autorizadas ou incorrer em altos custos de uso.
Databricks simplifica a governança unificada de dados e AI por meio de:
- Unity Catalog, que gerencia arquivos, tabelas, índices vetoriais, repositório de recursos, modelos e ferramentas sob um modelo de governança unificado
- AI Gateway oferece governança e monitoramento unificados para endpoints de modelos AI , incluindo mecanismos de segurança e limites de uso.
- Databricks AI Security Framework oferece um guia completo para a gestão de riscos AI
- Databricks AI Governance Framework complementa o Security Framework, fornecendo uma view da governança que abrange tanto a segurança quanto a integridade operacional.
Qualidade dos modelos, agentes e aplicativos
Modelos de AI produzem saídas abertas e estocásticas e são frequentemente aplicados a problemas abertos com muitas respostas "boas". Até mesmo definir "alta qualidade" pode ser desafiador e muitas vezes exige feedback iterativo de especialistas do domínio ou usuários. Sem processos de avaliação robustos, as organizações enfrentam riscos como:
- Más experiências do usuário: Se os aplicativos de AI não forem avaliados com base em métricas alinhadas às necessidades do usuário, os usuários podem achar as respostas inúteis, imprecisas ou até mesmo prejudiciais ou ofensivas. A reputação da marca pode ser prejudicada em casos extremos.
- Limbo de desenvolvimento: se a qualidade não pode ser definida ou medida de forma a permitir a aprovação das partes interessadas, os projetos de AI podem ser atrasados ou cancelados por falta de "prova" de qualidade.
Databricks simplifica a medição e a otimização da qualidade AI por meio de:
-
Avaliação e monitoramentoMLflow, com avaliadores integrados e pontuadores personalizados para medir a qualidade, utilizável tanto no monitoramento de desenvolvimento quanto de produção.
-
O MLflow Tracing oferece rastreamento automático e manual para proporcionar observabilidade tanto em desenvolvimento quanto em produção.
-
Coleta de feedback humano, com um aplicativo integrado para feedback de especialistas durante o desenvolvimento e APIs para feedback de usuários de aplicativos em produção.
-
Métodos para otimizar as compensações entre qualidade, custo e latência. Knowledge Assistant oferece uma experiência de otimização guiada para chatbots de QA, e Agentes Personalizados e uma escolha flexível de modelos de AI oferecem opções de trade-off para agentes totalmente personalizados.
Controle de dados e modelos
Modelos de AI de última geração são fornecidos por muitos provedores de modelo, bem como opções de código aberto auto-hospedadas. Devido a complicações de privacidade e licenciamento de dados, muitas plataformas enfrentam dificuldades para dar suporte a este ecossistema diversificado e permitir iteração e personalização rápidas. As organizações devem manter o controle sobre seus dados e a escolha sobre os modelos para evitar riscos como:
- Restrições de privacidade de dados: os requisitos de compliance ou integração podem impedir que as organizações acessem os principais modelos de AI de vários fornecedores, sacrificando a flexibilidade e o equilíbrio entre qualidade e custo.
- Falta de vantagem competitiva: Se os modelos, dados, agentes e aplicações não forem personalizáveis com base nos dados proprietários de uma organização, torna-se difícil construir propriedade intelectual.
O Databricks oferece controle e flexibilidade para dados e modelos por meio de:
- APIs de modelos de base, que fornecem modelos de ponta dos principais provedores de modelos em seu próprio ambiente Databricks, juntamente com seus modelos e agentes personalizados no Model Serving.
- Aplicativos, agentes, modelos, ferramentas e fontes de dados personalizados, construídos em torno de seus dados proprietários. Todos esses níveis de AI dão suporte à Inteligência de Dados, desde a criação de aplicativos e agentes, passando pelo fornecimento de dados por meio de ferramentas, até a avaliação e otimização de agentes com base em seus dados.