Descripción del ciclo de vida del desarrollo de aplicaciones de modelos de lenguaje grande (LLM)
Antes de comprender cómo trabajar con el flujo de indicaciones, vamos a explorar el ciclo de vida de desarrollo de una aplicación de modelo de lenguaje extenso (LLM).
El ciclo de vida consta de las siguientes fases:
- Inicialización: defina el caso de uso y diseñe la solución.
- Experimentación: desarrolle un flujo y pruebe con un conjunto de datos pequeño.
- Evaluación y refinamiento: evalúe el flujo con un conjunto de datos mayor.
- Producción: implemente y supervise el flujo y la aplicación.
Durante la evaluación y el refinamiento y la producción, es posible que encuentre que la solución debe mejorarse. Puede volver a la experimentación durante la cual desarrolle su flujo de forma continua, hasta que esté satisfecho con los resultados.
Vamos a explorar cada una de estas fases con más detalle.
Inicialización
Imagine que desea diseñar y desarrollar una aplicación LLM para clasificar artículos de noticias. Antes de empezar a crear algo, debe definir qué categorías desea como salida. Debe comprender el aspecto de un artículo de noticias típico, cómo presentar el artículo como entrada a la aplicación y cómo la aplicación genera la salida deseada.
En otras palabras, durante la inicialización:
- Definición del objetivo
- Recopilación de un conjunto de datos de ejemplo
- Construye un prompt básico
- Diseño del flujo
Para diseñar, desarrollar y probar una aplicación LLM, necesita un conjunto de datos de ejemplo que actúe como entrada. Un conjunto de datos de ejemplo es un pequeño subconjunto representativo de los datos que espera analizar como entrada para la aplicación LLM.
Al recopilar o crear el conjunto de datos de ejemplo, debe garantizar la diversidad de los datos para cubrir diversos escenarios y casos perimetrales. También debe quitar cualquier información confidencial de privacidad del conjunto de datos para evitar vulnerabilidades.
Experimentación
Ha recopilado un conjunto de datos de ejemplo de artículos de noticias y ha decidido en qué categorías desea que los artículos se clasifiquen. Diseñó un flujo que toma un artículo de noticias como entrada y usa un LLM para clasificar el artículo. Para probar si el flujo genera la salida esperada, ejecútelo en el conjunto de datos de ejemplo.
La fase de experimentación es un proceso iterativo durante el que (1) ejecuta el flujo en un conjunto de datos de ejemplo. A continuación, (2) evalúa el rendimiento de la indicación. Si está (3) satisfecho con el resultado, puede pasar a la evaluación y el refinamiento. Si cree que hay espacio para mejorar, puede (4) modificar el flujo cambiando el mensaje o el propio flujo.
Evaluación y refinamiento
Cuando esté satisfecho con la salida del flujo que clasifica los artículos de noticias, en función del conjunto de datos de ejemplo, puede evaluar el rendimiento del flujo en un conjunto de datos mayor.
Al probar el flujo en un conjunto de datos más grande, puede evaluar la forma en que la aplicación LLM generaliza los nuevos datos. Durante la evaluación, puede identificar posibles cuellos de botella o áreas para la optimización o refinamiento.
Al editar el flujo, primero debe ejecutarlo en un conjunto de datos más pequeño antes de volver a ejecutarlo en un conjunto de datos mayor. Probar el flujo con un conjunto de datos más pequeño le permite responder más rápidamente a cualquier problema.
Una vez que la aplicación LLM parezca sólida y confiable en el control de varios escenarios, puede decidir mover la aplicación LLM a producción.
Producción
Por último, la aplicación de clasificación de artículos de noticias está lista para producción.
Durante la producción, usted:
- Optimice el flujo que clasifica los artículos entrantes para mejorar la eficiencia y la eficacia.
- Implementar el flujo en un punto de conexión. Al llamar al punto de conexión, se desencadena el flujo para ejecutarse y se genera la salida deseada.
- Supervise el rendimiento de la solución mediante la recopilación de datos de uso y comentarios de los usuarios finales. Al comprender cómo funciona la aplicación, puede mejorar el flujo siempre que sea necesario.
Explora el ciclo de vida completo del desarrollo
Ahora que comprende cada fase del ciclo de vida de desarrollo de una aplicación LLM, puede explorar la introducción completa:
