Partilhar via

Monitore a qualidade do modelo e a integridade do endpoint

O Mosaic AI Model Serving fornece ferramentas avançadas para monitorar a qualidade e a integridade dos modelos e suas implantações. A tabela a seguir é uma visão geral de cada ferramenta de monitoramento disponível.

Ferramenta Descrição Objetivo Acesso
Logs de serviço Captura stdout e transmite stderr do ponto de extremidade de serviço do modelo. Útil para depuração durante a implantação do modelo. Use logging.warning(...) ou logging.error(...) para exibição imediata nos logs. Acessível usando a guia Logs na interface do usuário de serviço. Os logs são transmitidos em tempo real e podem ser exportados por meio da API.
Construir logs Exibe a saída do processo que cria automaticamente um ambiente Python pronto para produção para o ponto de extremidade de serviço do modelo. Útil para diagnosticar problemas de dependência e implantação de modelos. Disponível após a conclusão da compilação de serviço do modelo em Logs de compilação na guia Logs . Os logs podem ser exportados por meio da API. Esses logs são retidos por até 30 (trinta) dias.
Métricas de integridade do endpoint Fornece informações sobre métricas de infraestrutura, como latência, taxa de solicitação, taxa de erro, uso da CPU e uso de memória. Importante para compreender o desempenho e a integridade da infraestrutura de serviço. Disponível por padrão na interface do usuário de serviço nos últimos 14 dias. Os dados também podem ser transmitidos para ferramentas de observabilidade em tempo real.
tabelas de inferência com suporte do AI Gateway Regista automaticamente solicitações e respostas de previsão online em tabelas Delta geridas pelo Unity Catalog para endpoints que servem modelos personalizados, modelos externos ou cargas de trabalho de throughput provisionadas. Use essa ferramenta para monitorar e depurar a qualidade ou as respostas do modelo, gerar conjuntos de dados de treinamento ou realizar auditorias de conformidade. Pode ser habilitado para pontos de extremidade de disponibilização de modelos existentes e novos ao habilitar recursos de do AI Gateway usando a Interface de Serviço ou a API REST.

Sugestão

Use estas ferramentas de monitorização para identificar gargalos de desempenho e otimizar os seus endpoints. Para estratégias abrangentes de otimização, consulte Otimizar os pontos de extremidade de Serving de Modelos para produção.

Recursos adicionais

  • Last updated on