Compartir a través de

Supervisión de la calidad del modelo y el estado del punto de conexión

El Servicio de modelos de Mosaic AI proporciona herramientas avanzadas para supervisar la calidad y el estado de los modelos y sus implementaciones. La tabla siguiente es una introducción a cada herramienta de supervisión disponible.

Herramienta Descripción Propósito Access
Registros del servicio Captura flujos stdout y stderr del punto de conexión de servicio de modelos. Resulta útil para la depuración durante la implementación del modelo. Use logging.warning(...) o logging.error(...) para mostrarse inmediatamente en los registros. Accesible mediante la pestaña Registros en la interfaz de usuario de servicio. Los registros se transmiten en tiempo real y se pueden exportar mediante la API.
Registros de compilación Muestra la salida del proceso que crea automáticamente un entorno de Python listo para producción para el punto de conexión de servicio de modelos. Resulta útil para diagnosticar problemas de dependencia e implementación de modelos. Disponible al finalizar la compilación de servicio de modelos en Registros de compilación en la pestaña Registros. Los registros se pueden exportar mediante la API. Estos registros se conservan durante un máximo de treinta (30) días.
Métricas de estado de punto de conexión Proporciona conclusiones sobre métricas de infraestructura como las de latencia, tasa de solicitudes, tasa de errores yuso de CPU y memoria. Son importantes para comprender el rendimiento y el estado de la infraestructura de servicio. Disponibles de forma predeterminada en la interfaz de usuario de servicio durante los últimos 14 días. Los datos también se pueden transmitir a herramientas de observabilidad en tiempo real.
Tablas de inferencia habilitadas para la puerta de enlace de AI Registra automáticamente las solicitudes de predicción en línea y las respuestas en tablas delta administradas por el Catálogo de Unity para puntos de conexión que sirven a modelos personalizados, modelos externos o cargas de trabajo de rendimiento aprovisionadas. Use esta herramienta para supervisar y depurar la calidad del modelo o las respuestas, generar conjuntos de datos de entrenamiento o realizar auditorías de cumplimiento. Se puede habilitar para los puntos de conexión de servicio de modelos existentes y nuevos al activar las características de AI Gateway mediante la interfaz de usuario de servicio o la API de REST.

Sugerencia

Utiliza estas herramientas de monitoreo para identificar cuellos de botella de rendimiento y optimizar los puntos finales. Para obtener estrategias de optimización completas, consulte Optimizar los puntos de conexión de servicio del modelo para su uso en producción.

Recursos adicionales

  • Last updated on