El modelo de madurez de operaciones de aprendizaje automático (MLOps) define principios y prácticas que le ayudarán a crear y operar entornos de aprendizaje automático de producción. Use este modelo para evaluar el estado actual y planear el progreso incremental hacia un entorno de MLOps maduro.
Introducción al modelo de madurez
El modelo de madurez de MLOps aclara los principios y procedimientos de operaciones de desarrollo (DevOps) necesarios para ejecutar un entorno de MLOps correcto. Proporciona un marco para medir las funcionalidades de MLOps de su organización e identificar brechas en la implementación actual. Utiliza este modelo para desarrollar gradualmente tu capacidad de MLOps en vez de enfrentarse de inmediato a toda la complejidad de una implementación madura.
Use el modelo de madurez de MLOps como guía para realizar las siguientes tareas:
Estime el alcance del trabajo para los nuevos compromisos.
Establecer criterios de éxito realistas.
Identifique los resultados que se van a entregar al final de la interacción.
Al igual que la mayoría de los modelos de madurez, el modelo de madurez de MLOps evalúa cualitativamente personas y cultura, procesos y estructuras, y objetos y tecnología. A medida que aumenta el nivel de madurez, también aumenta la probabilidad de que los incidentes o errores produzcan mejoras en los procesos de desarrollo y producción.
El modelo de madurez de MLOps abarca cinco niveles de capacidad técnica.
| Level |
Description |
Resúmenes |
Tecnología |
| 0 |
Sin MLOps |
- El ciclo de vida completo del modelo de aprendizaje automático es difícil de administrar.
- Los equipos son dispares y los lanzamientos son desafiantes.
- La mayoría de los sistemas son notransparentes, con pocos comentarios durante y después de la implementación.
|
- Las compilaciones e implementaciones son manuales.
- Las pruebas de modelos y aplicaciones son manuales.
- El seguimiento del rendimiento del modelo no está centralizado.
- El entrenamiento del modelo es manual.
- Teams solo usa características básicas del área de trabajo de Azure Machine Learning.
|
| 1 |
DevOps, pero no MLOps |
- Los lanzamientos son menos difíciles que el nivel 0, aunque dependen de los equipos de datos para cada nuevo modelo.
- Los comentarios sobre el rendimiento del modelo en producción siguen siendo limitados.
- Los resultados son difíciles de rastrear y reproducir.
|
- Las compilaciones se automatizan.
- El código de aplicación tiene pruebas automatizadas.
- El código está bajo control de versiones.
|
| 2 |
Aprendizaje automatizado |
- El entorno de entrenamiento es totalmente administrado y rastreable.
- El modelo es fácil de reproducir.
- Los lanzamientos son manuales, pero fáciles de implementar.
|
- El entrenamiento del modelo está automatizado.
- El seguimiento del rendimiento del entrenamiento del modelo está centralizado.
- La gestión de modelos está implementada.
- Los trabajos programados o controlados por eventos de Machine Learning controlan el entrenamiento periódico.
- Se adopta el almacén de características administrado.
- Se emiten eventos de ciclo de vida de Azure Event Grid para la orquestación de canalizaciones.
- Los entornos se administran mediante definiciones de entorno de Machine Learning.
|
| 3 |
Implementación automatizada de modelos |
- Las versiones son fáciles de implementar y automáticas.
- La rastreabilidad completa existe desde la implementación hasta los datos originales.
- Todo el entorno se administra, incluido el entrenamiento, las pruebas y la producción.
|
- Las pruebas A/B del rendimiento del modelo se integran para la implementación.
- Todo el código tiene pruebas automatizadas.
- El seguimiento del rendimiento del entrenamiento del modelo está centralizado.
- Los artefactos se promueven entre áreas de trabajo mediante registros de Machine Learning.
|
| 4 |
Operaciones completas automatizadas de MLOps |
- El sistema completo se automatiza y supervisa fácilmente.
- Los sistemas de producción proporcionan información sobre cómo mejorar y, a veces, mejorar automáticamente con nuevos modelos.
- El sistema se aproxima a cero tiempos de inactividad.
|
- El entrenamiento y las pruebas del modelo se automatizan.
- El modelo implementado emite métricas verbosas y centralizadas.
- Las señales de desfase o regresión desencadenan el reentrenamiento automático mediante Event Grid.
- Se supervisa el estado de funcionamiento y la actualidad de la materialización de características.
- La promoción de modelos se basa en directivas y se automatiza mediante registros de Machine Learning.
|
En las tablas siguientes se describen características detalladas para cada nivel de madurez.
Nivel 0: Sin MLOps
| People |
Creación de modelos |
Autorización de modelo |
Integración de aplicaciones |
- Los científicos de datos trabajan de forma aislada sin comunicación regular con el equipo más grande.
- Los ingenieros de datos (si existen) trabajan de forma aislada sin comunicación regular con el equipo mayor.
- Los ingenieros de software trabajan de forma aislada y reciben modelos de forma remota de otros miembros del equipo.
|
- Los datos se recopilan manualmente.
- Es probable que los recursos de computación no estén gestionados.
- Los experimentos no se siguen de manera coherente.
- El resultado final suele ser un único archivo de modelo que incluye entradas y salidas, entregados manualmente.
|
- El proceso de lanzamiento es manual.
- El script de puntuación se crea manualmente después de los experimentos y no está bajo control de versiones.
- Un único científico de datos o ingeniero de datos gestiona el lanzamiento.
|
- La implementación depende en gran medida de la experiencia de los científicos de datos.
- Los lanzamientos de la aplicación son manuales.
|
Nivel 1: DevOps, pero sin MLOps
| People |
Creación de modelos |
Lanzamiento del modelo |
Integración de aplicaciones |
- Los científicos de datos trabajan de forma aislada sin comunicación regular con el equipo más grande.
- Los ingenieros de datos (si existen) trabajan de forma aislada sin comunicación regular con el equipo mayor.
- Los ingenieros de software trabajan de forma aislada y reciben modelos de forma remota de otros miembros del equipo.
|
- La canalización de datos recopila automáticamente los datos.
- La computación podría ser administrada o no.
- Los experimentos no se rastrean de manera coherente.
- El resultado final suele ser un único archivo de modelo que incluye entradas y salidas, entregados manualmente.
|
- El proceso de lanzamiento es manual.
- El script de puntuación se crea manualmente después de los experimentos, pero probablemente esté bajo control de versiones.
- El modelo se entrega a los ingenieros de software.
|
- Existen pruebas de integración básicas para el modelo.
- La implementación depende en gran medida de la experiencia de los científicos de datos.
- Las versiones de la aplicación se automatizan.
- El código de aplicación tiene pruebas unitarias.
|
Nivel 2: Entrenamiento automatizado
| People |
Creación de modelos |
Lanzamiento del modelo |
Integración de aplicaciones |
- Los científicos de datos trabajan directamente con ingenieros de datos para convertir el código de experimentación en scripts y trabajos repetibles.
- Los ingenieros de datos trabajan con científicos de datos en el desarrollo de modelos.
- Los ingenieros de software trabajan de forma aislada y reciben modelos de forma remota de otros miembros del equipo.
|
- La canalización de datos recopila automáticamente los datos.
- El cómputo se administra.
- Se realiza un seguimiento de los resultados del experimento.
- Tanto el código de entrenamiento como los modelos están gestionados en versiones.
|
- El proceso de lanzamiento es manual.
- El script de puntuación está controlado por control de versiones y tiene tests.
- El equipo de ingeniería de software administra las versiones.
|
- Existen pruebas de integración básicas para el modelo.
- La implementación depende en gran medida de la experiencia de los científicos de datos.
- El código de aplicación tiene pruebas unitarias.
|
Nivel 3: Implementación automatizada de modelos
| People |
Creación de modelos |
Lanzamiento del modelo |
Integración de aplicaciones |
- Los científicos de datos trabajan directamente con ingenieros de datos para convertir el código de experimentación en scripts y trabajos repetibles.
- Los ingenieros de datos trabajan con científicos de datos e ingenieros de software para administrar entradas y salidas.
- Los ingenieros de software trabajan con ingenieros de datos para automatizar la integración de modelos en el código de la aplicación.
|
- La canalización de datos recopila automáticamente los datos.
- El cómputo se administra.
- Se realiza un seguimiento de los resultados del experimento.
- Tanto el código de entrenamiento como los modelos están controlados por la versión.
|
- El proceso de liberación es automático.
- El script de puntuación está bajo control de versiones y tiene pruebas.
- La integración continua y el pipeline de entrega continua (CI/CD) gestionan las versiones.
|
- Cada versión del modelo incluye pruebas unitarias e de integración.
- La implementación depende menos de la experiencia de los científicos de datos.
- El código de la aplicación tiene pruebas unitarias e de integración.
|
Nivel 4: Operaciones completamente automatizadas de MLOps
| People |
Creación de modelos |
Lanzamiento del modelo |
Integración de aplicaciones |
- Los científicos de datos trabajan directamente con ingenieros de datos para convertir el código de experimentación en scripts y trabajos repetibles. También trabajan con ingenieros de software para identificar marcadores de datos.
- Los ingenieros de datos trabajan con científicos de datos e ingenieros de software para administrar entradas y salidas.
- Los ingenieros de software trabajan con ingenieros de datos para automatizar la integración de modelos e implementar la recopilación de métricas posteriores a la implementación.
|
- La canalización de datos recopila automáticamente los datos.
- Las métricas de producción desencadenan automáticamente el reentrenamiento.
- El cómputo se administra.
- Se realiza un seguimiento de los resultados del experimento.
- Tanto el código de entrenamiento como los modelos están controlados por la versión.
|
- El proceso de liberación es automático.
- El script de puntuación está controlado por control de versiones y tiene test.
- La pipeline de CI/CD gestiona las versiones.
|
- Cada versión del modelo incluye pruebas unitarias e de integración.
- La implementación depende menos de la experiencia de los científicos de datos.
- El código de la aplicación tiene pruebas unitarias e de integración.
|
MLOps y GenAIOps
Este artículo se centra en las funcionalidades de ciclo de vida de aprendizaje automático predictivo, tabular y clásico. Las operaciones de inteligencia artificial generativa (GenAIOps) presentan funcionalidades adicionales que complementan los niveles de madurez de MLOps en lugar de reemplazarlos. GenAIOps incluye ciclo de vida rápido, aumento de recuperación, seguridad de salida y gobernanza de costos de tokens. Para más información, consulte GenAIOps para organizaciones que tienen inversiones en MLOps. No confunda la mecánica de iteración rápida con el bucle de implementación de entrenamiento reproducible descrito en este artículo.
Colaboradores
Microsoft mantiene este artículo. Los colaboradores siguientes escribieron este artículo.
-
Delyn Choong | Arquitecto sénior de soluciones en la nube: datos e inteligencia artificial
Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.
Pasos siguientes