Monitorar a qualidade do modelo e a integridade do endpoint
Visualização
O Mosaic AI Model Serving está em Public Preview e é compatível com os sites us-east1 e us-central1.
Mosaic AI Model Serving fornece ferramentas avançadas para monitorar a qualidade e a integridade dos modelos e suas implantações. A tabela a seguir é uma visão geral de cada ferramenta de monitoramento disponível.
Ferramenta | Descrição | Propósito | Acesso |
|---|---|---|---|
Captura a transmissão | Útil para depuração durante a implantação do modelo. Use | Acessível usando os registros tab na UI de serviço. Os registros são transmitidos em tempo real e podem ser exportados pelo site API. | |
Exibe a saída do processo que cria automaticamente um ambiente Python pronto para produção para o modelo de serviço endpoint. | Útil para diagnosticar problemas de implantação e dependência de modelos. | Disponível após a conclusão da construção do modelo servindo em Build logs nos registros tab. Os registros podem ser exportados pelo site API. | |
Fornece percepções sobre métricas de infraestrutura como latência, taxa de solicitação, taxa de erro, uso de CPU e uso de memória. | Importante para entender o desempenho e a integridade da infraestrutura de atendimento. | Disponível em default na UI de serviço nos últimos 14 dias. Os dados também podem ser transmitidos para ferramentas de observabilidade em tempo real. | |
logs automaticamente as solicitações e respostas de previsão on-line em Delta tabelas gerenciadas por Unity Catalog para endpoints que atendem a modelos externos ou cargas de trabalho de Taxa de transferência de provisionamento. | Use essa ferramenta para monitorar e depurar a qualidade ou as respostas do modelo, gerar conjuntos de dados de treinamento ou realizar auditorias no site compliance. | Pode ser ativado para endpoints novos e existentes usando um único clique na interface do usuário ou em API. |