Entrenamiento y evaluación del modelo
El entrenamiento y la evaluación del modelo son un proceso iterativo de agregar datos y etiquetas al conjunto de datos de entrenamiento para enseñar el modelo con mayor precisión. Para saber qué tipos de datos y etiquetas deben mejorarse, Language Studio proporciona puntuación en la página Ver detalles del modelo en el panel izquierdo.
Las entidades individuales y la puntuación general del modelo se dividen en tres métricas para explicar cómo funcionan y dónde deben mejorar.
| Métrica | Descripción |
|---|---|
| Precisión | Proporción de reconocimientos exitosos de entidades respecto a todos los reconocimientos intentados. Una puntuación alta significa que, siempre y cuando se reconozca la entidad, se etiqueta correctamente. |
| Recuerdos | Proporción de reconocimientos exitosos de entidades respecto al número real de entidades en el documento. Una puntuación alta significa que encuentra bien la entidad o las entidades, independientemente de si las asigna a la etiqueta correcta. |
| Puntuación F1 | Combinación de precisión y coincidencia con una única métrica de puntuación |
Las puntuaciones están disponibles tanto por entidad como para el modelo en su conjunto. Es posible que encuentre una entidad que puntúa bien, aunque el modelo completo no lo haga.
Interpretación de métricas
Lo ideal es que nuestro modelo puntue bien tanto en precisión como en recuperación, lo que significa que el reconocimiento de entidades funciona bien. Si ambas métricas tienen una puntuación baja, significa que el modelo tiene dificultades para reconocer entidades en el documento y, cuando extrae esa entidad, no le asigna la etiqueta correcta con alta confianza.
Si la precisión es baja pero la recuperación es alta, significa que el modelo reconoce bien la entidad, pero no la etiqueta como el tipo de entidad correcto.
Si la precisión es alta pero la recuperación es baja, significa que el modelo no siempre reconoce la entidad, pero cuando el modelo extrae la entidad, se aplica la etiqueta correcta.
Matriz de confusión
En la misma página Ver detalles del modelo, hay otra pestaña en la parte superior de la Matriz de confusión. En esta vista se ofrece una tabla visual de todas las entidades y el comportamiento de cada una, lo que proporciona una vista completa del modelo y dónde tiene dificultades.
La matriz de confusión permite identificar visualmente dónde agregar datos para mejorar el rendimiento del modelo.