Monitorar a qualidade do modelo e a integridade do endpoint
Servindo modelo fornece ferramentas avançadas para monitorar a qualidade e a integridade dos modelos e suas implantações. A tabela a seguir apresenta uma visão geral de cada ferramenta de monitoramento disponível.
Ferramenta | Descrição | Propósito | Acesso |
|---|---|---|---|
Captura a transmissão | Útil para depuração durante a implantação do modelo. Use | Acessível usando os registros tab na UI de serviço. Os registros são transmitidos em tempo real e podem ser exportados pelo site API. | |
OpenTelemetry para endpoint de modelo de navegação personalizado | Armazena logs de sistema padrão, logs de aplicativos personalizados, métricas e rastreamentos em tabelas Delta Unity Catalog usando OpenTelemetry para retenção de longo prazo. | Útil para levantamentos históricos, requisitos compliance e análise de problemas de produção usando consultas SQL . | Configure as definições de telemetria na interface de utilizador ou na API ao criar o endpoint. Consulte logs usando Unity Catalog SQL ou Databricks Notebook. |
Exibe a saída do processo que cria automaticamente um ambiente Python pronto para produção para o modelo de serviço endpoint. | Útil para diagnosticar problemas de implantação e dependência de modelos. | Disponível após a conclusão da construção do modelo servindo em Build logs nos registros tab. Os registros podem ser exportados pelo site API. Esses logs são retidos por até trinta (30) dias. | |
Fornece percepções sobre métricas de infraestrutura como latência, taxa de solicitação, taxa de erro, uso de CPU e uso de memória. | Importante para entender o desempenho e a integridade da infraestrutura de atendimento. | Disponível em default na UI de serviço nos últimos 14 dias. Os dados também podem ser transmitidos para ferramentas de observabilidade em tempo real. | |
logs automaticamente solicitações e respostas de previsão on-line em Delta tabelas gerenciadas por Unity Catalog para endpoints que atendem a modelos personalizados, modelos externos ou cargas de trabalho de Taxa de transferência de provisionamento. | Use essa ferramenta para monitorar e depurar a qualidade ou as respostas do modelo, gerar conjuntos de dados de treinamento ou realizar auditorias no site compliance. | O senhor pode ativar o endpoint existente e o novo modelo de serviço ao ativar o recurso AI Gateway usando a UI de serviço ou REST API. |
Utilize essas ferramentas de monitoramento para identificar gargalos de desempenho e otimizar seu endpoint. Para estratégias de otimização abrangentes, consulte Otimizar servindo modelo endpoint para produção.