Entraîner et évaluer votre modèle
L’apprentissage et l’évaluation de votre modèle sont un processus itératif d’ajout de données et d’étiquettes à votre jeu de données d’entraînement pour enseigner le modèle plus précisément. Pour savoir quels types de données et d’étiquettes doivent être améliorés, Language Studio fournit un scoring dans la page Afficher les détails du modèle dans le volet gauche.
Les entités individuelles et le score global de votre modèle sont divisés en trois métriques pour expliquer comment elles effectuent et où elles doivent s’améliorer.
| Unité de mesure | Descriptif |
|---|---|
| Précision | Le nombre de reconnaissances d’entités réussies par rapport à toutes les tentatives de reconnaissance. Un score élevé signifie que tant que l’entité est reconnue, elle est étiquetée correctement. |
| Rappeler | Rapport des reconnaissances d’entités réussies au nombre réel d’entités dans le document. Un score élevé signifie qu’il trouve bien l’entité ou les entités, qu'il leur attribue le bon label ou non. |
| Score F1 | Combinaison de précision et de rappel fournissant une métrique de scoring unique |
Les scores sont disponibles à la fois par entité et pour le modèle dans son ensemble. Vous pouvez trouver qu'une entité a un score élevé, mais le modèle complet ne performe pas bien.
Comment interpréter les métriques
Dans l’idéal, nous voulons que notre modèle obtienne un bon score en termes de précision et de rappel, ce qui signifie que la reconnaissance d’entités fonctionne bien. Si les deux métriques ont un score faible, cela signifie que le modèle est à la fois en difficulté à reconnaître des entités dans le document et lorsqu’il extrait cette entité, il ne l’affecte pas à l’étiquette correcte avec une confiance élevée.
Si la précision est faible mais que le rappel est élevé, cela signifie que le modèle reconnaît bien l’entité, mais ne l’étiquette pas comme type d’entité correct.
Si la précision est élevée mais que le rappel est faible, cela signifie que le modèle ne reconnaît pas toujours l’entité, mais lorsque le modèle extrait l’entité, l’étiquette correcte est appliquée.
Matrice de confusion
Dans la même page Afficher les détails du modèle , un autre onglet s’affiche en haut de la matrice Confusion. Cette vue fournit un tableau visuel de toutes les entités et de leurs performances, donnant une vue complète du modèle et où il présente des lacunes.
La matrice de confusion vous permet d’identifier visuellement où ajouter des données pour améliorer les performances de votre modèle.