Trenowanie i ocenianie modelu
Trenowanie i ocenianie modelu to iteracyjny proces dodawania danych i etykiet do zestawu danych szkoleniowych w celu dokładniejszego uczenia modelu. Aby dowiedzieć się, jakie typy danych i etykiet należy ulepszyć, program Language Studio udostępnia ocenianie na stronie Wyświetlanie szczegółów modelu w okienku po lewej stronie.
Poszczególne jednostki i ogólny wynik modelu są podzielone na trzy metryki, aby wyjaśnić, jak działają i gdzie należy je poprawić.
| Wskaźnik | Opis |
|---|---|
| Precyzja | Współczynnik pomyślnych rozpoznań jednostek do wszystkich prób rozpoznawania. Wysoki wynik oznacza, że o ile jednostka jest rozpoznawana, jest ona poprawnie oznaczona etykietą. |
| Odwołaj | Współczynnik pomyślnych rozpoznań jednostek do rzeczywistej liczby jednostek w dokumencie. Wysoki wynik oznacza, że znajduje dobrze jednostkę lub jednostki, niezależnie od tego, czy przypisuje im odpowiednią etykietę |
| miara F1 | Kombinacja precyzji i pamięci oferująca pojedynczą miarę oceny |
Wyniki są dostępne zarówno dla jednostki, jak i dla modelu jako całości. Możesz stwierdzić, że jednostka osiąga dobre wyniki, ale cały model nie.
Jak interpretować metryki
W idealnym przypadku chcemy, aby nasz model dobrze oceniał zarówno precyzję, jak i kompletność, co oznacza, że rozpoznawanie jednostek działa dobrze. Jeśli obie metryki mają niski wynik, oznacza to, że model ma trudności z rozpoznawaniem jednostek w dokumencie, a po wyodrębnieniu tej jednostki nie przypisuje jej poprawnej etykiety z dużą pewnością.
Jeśli precyzja jest niska, ale czułość wysoka, oznacza to, że model dobrze rozpoznaje jednostkę, ale nie oznacza jej jako prawidłowy typ jednostki.
Jeśli precyzja jest wysoka, ale czułość jest niska, oznacza to, że model nie zawsze rozpoznaje encję, ale gdy model wyodrębnia encję, zastosowana jest poprawna etykieta.
Macierz pomyłek
Na tej samej stronie Wyświetl szczegóły modelu znajduje się kolejna zakładka na górze dla macierzy pomyłek. Ten widok zawiera wizualną tabelę wszystkich jednostek oraz wyniki ich działania, dając też pełny obraz modelu i miejsc, w których występują braki.
Macierz pomyłek umożliwia wizualne określenie, gdzie należy dodać dane, aby poprawić efektywność modelu.