Limitações conhecidas: Mosaic AI Agent Framework & Avaliação de agentes

Prévia

Este recurso está em Prévia pública.

Este artigo aborda limitações conhecidas do Mosaic AI Agent Framework e Agent Evaluation. Para obter mais informações, consulte O que é o Mosaic AI Agent Framework?.

Avaliação e espaço de trabalho habilitado para HIPAA

A Avaliação do agente não está disponível no espaço de trabalho habilitado para HIPAA.

Parceiros - Necessário recurso assistivo de AI com potência

Para usar o Agent Framework e a Avaliação do Agente, você deve habilitar os recursos de assistência de IA oferecidos por parceiros.

Não há suporte para conversas com vários turnos

Em conversas em vários turnos, os resultados de saída da avaliação registram somente a última entrada na conversa.

Os nomes de modelos servidos são limitados a 32 caracteres

O limite de comprimento de um nome de modelo servido (conhecido como app_name) é de 32 caracteres, onde app_name é um nome escolhido.

Todos os componentes de um aplicativo agêntico devem compartilhar um espaço de trabalho

Todos os componentes de um aplicativo agêntico devem estar em um único workspace. Por exemplo, no caso de um aplicativo RAG, o modelo de serviço e a instância de pesquisa vetorial precisam estar no mesmo workspace.

Permissões na implantação

Se o senhor implantar um aplicativo sem iniciar nenhuma revisão usando a chamada enable_trace_reviews e tiver permissões CAN_MANAGE para a implantação, o serviço retornará uma resposta NO_PERMISSIONS ao invocar a chamada get_permissions endpoint. Esse é um problema conhecido, e os níveis de permissão apropriados estão sendo mantidos em todo o sistema.

Ao usar a funcionalidade enable_trace_reviews para gerar artefatos de revisão, confirme se todos os usuários têm as permissões necessárias para realizar avaliações ou gerenciá-las. Para fazer isso, use a API set_permissions .