Monitorar a qualidade do modelo e a integridade do endpoint

Mosaic AI Model Serving fornece ferramentas avançadas para monitorar a qualidade e a integridade dos modelos e suas implantações. A tabela a seguir é uma visão geral de cada ferramenta de monitoramento disponível.

Ferramenta	Descrição	Propósito	Acesso
Logs de serviço	Captura a transmissão stdout e stderr do modelo servindo endpoint.	Útil para depuração durante a implantação do modelo. Use print(..., flush=true) para exibição imediata no site logs.	Acessível usando os registros tab na UI de serviço. Os registros são transmitidos em tempo real e podem ser exportados pelo site API.
Logs de compilação	Exibe a saída do processo que cria automaticamente um ambiente Python pronto para produção para o modelo de serviço endpoint.	Útil para diagnosticar problemas de implantação e dependência de modelos.	Disponível após a conclusão da construção do modelo servindo em Build logs nos registros tab. Os registros podem ser exportados pelo site API.
endpoint health métricas	Fornece percepções sobre métricas de infraestrutura como latência, taxa de solicitação, taxa de erro, uso de CPU e uso de memória.	Importante para entender o desempenho e a integridade da infraestrutura de atendimento.	Disponível em default na UI de serviço nos últimos 14 dias. Os dados também podem ser transmitidos para ferramentas de observabilidade em tempo real.
Tabelas de inferência	Automaticamente logs solicitações e respostas de previsão on-line em Delta tabelas gerenciadas por Unity Catalog para modelos personalizados.	Use essa ferramenta para monitorar e depurar a qualidade ou as respostas do modelo, gerar conjuntos de dados de treinamento ou realizar auditorias no site compliance.	Pode ser ativado para endpoints novos e existentes usando um único clique na interface do usuário do Serving ou programaticamente usando o Serving APIs.
Tabelas de inferência habilitadas para AI Gateway	logs automaticamente as solicitações e respostas de previsão on-line em Delta tabelas gerenciadas por Unity Catalog para endpoints que atendem a modelos externos ou cargas de trabalho de Taxa de transferência de provisionamento.	Use essa ferramenta para monitorar e depurar a qualidade ou as respostas do modelo, gerar conjuntos de dados de treinamento ou realizar auditorias no site compliance.	O senhor pode ativar o endpoint existente e o novo modelo de serviço ao ativar o recurso AI Gateway usando a UI de serviço ou REST API.

Recurso adicional

• Rastreie e exporte o serviço endpoint métricas de saúde para o Prometheus e o Datadog
• Monitorar os custos do modelo de serviço
• guia de depuração para manutenção do modelo