Interpretowanie wyników modelu w usłudze Machine Learning Studio (wersja klasyczna)

DOTYCZY:Machine Learning Studio (wersja klasyczna) Azure Machine Learning

W tym temacie wyjaśniono, jak wizualizować i interpretować wyniki przewidywania w usłudze Machine Learning Studio (wersja klasyczna). Po wytrenowaniu modelu i dokonaniu na nim przewidywań (wykonaniu operacji scoring na modelu), musisz zrozumieć i zinterpretować wynik predykcji.

Istnieją cztery główne rodzaje modeli uczenia maszynowego w usłudze Machine Learning Studio (wersja klasyczna):

• Klasyfikacja
• Klastrowanie
• Regresja
• Systemy rekomendacji

Moduły używane do przewidywania na podstawie tych modeli to:

• Moduł model scoringowy do klasyfikacji i regresji
• Moduł przypisywania do klastrów na potrzeby klastrowania
• Score Matchbox Recommender dla systemów rekomendacji (Generowanie wyników dla modułów rekomendacji)

Dowiedz się, jak wybrać parametry, aby zoptymalizować algorytmy w usłudze ML Studio (wersja klasyczna).

Aby dowiedzieć się, jak oceniać modele, zobacz Jak ocenić wydajność modelu.

Jeśli dopiero zaczynasz korzystać z programu ML Studio (wersja klasyczna), dowiedz się, jak utworzyć prosty eksperyment.

Klasyfikacja

Istnieją dwie podkategorie problemów klasyfikacji:

• Problemy z tylko dwiema klasami (klasyfikacja dwuklasowa lub binarna)
• Problemy z więcej niż dwiema klasami (klasyfikacja wieloklasowa)

Usługa Machine Learning Studio (klasyczna) ma różne moduły do obsługi każdego z tych typów klasyfikacji, ale metody interpretowania wyników przewidywania są podobne.

Klasyfikacja dwuklasowa

Przykładowy eksperyment

Przykładem problemu z klasyfikacją dwuklasową jest klasyfikacja kwiatów irysów. Zadaniem jest klasyfikowanie kwiatów irysów na podstawie ich cech. Zestaw danych Iris udostępniony w usłudze Machine Learning Studio (wersja klasyczna) jest podzbiorem popularnego zestawu danych Iris zawierającego tylko wystąpienia tylko dwóch gatunków kwiatów (klasy 0 i 1). Istnieją cztery cechy dla każdego kwiatu (długość sepa, szerokość sepal, długość płatka i szerokość płatka).

Rysunek 1. Eksperyment problemu z klasyfikacją dwuklasową Iris

Eksperyment został wykonany w celu rozwiązania tego problemu, jak pokazano na rysunku 1. Model dwuklasowego wzmocnionego drzewa decyzyjnego został wytrenowany i oceniony. Teraz możesz wizualizować wyniki przewidywania z modułu Score Model (Generowanie wyników dla modelu), klikając port wyjściowy modułu Score Model (Generowanie wyników dla modelu), a następnie klikając pozycję Visualize (Wizualizacja).

Spowoduje to wyświetlenie wyników oceniania, jak pokazano na rysunku 2.

Rysunek 2. Zwizualizuj wynik modelu scoringowego w klasyfikacji dwuklasowej

Interpretacja wyników

W tabeli wyników znajduje się sześć kolumn. Cztery lewe kolumny to cztery funkcje. Dwie kolumny po prawej, Scored Labels i Scored Prawdopodobieństwa, są wynikami przewidywań. Kolumna Scored Probabilities (Obliczone prawdopodobieństwo) pokazuje prawdopodobieństwo, że kwiat należy do klasy dodatniej (Klasa 1). Na przykład pierwsza liczba w kolumnie (0.028571) oznacza, że istnieje prawdopodobieństwo 0,028571, że pierwszy kwiat należy do klasy 1. W kolumnie 'Scored Labels' wyświetlana jest przewidywana klasa dla każdego kwiatu. Jest to oparte na kolumnie Scored Probabilities. Jeśli obliczone prawdopodobieństwo kwiatu jest większe niż 0,5, jest przewidywane jako klasa 1. W przeciwnym razie jest ona przewidywana jako klasa 0.

Publikacja usługi sieci Web

Po zrozumieniu i ocenie wyników przewidywań, eksperyment można opublikować jako usługę internetową, aby móc go wdrożyć w różnych aplikacjach i wywołać w celu uzyskania przewidywań klas dla każdego nowego kwiatu irysa. Aby dowiedzieć się, jak zmienić eksperyment trenowania w eksperyment oceniania i opublikować go jako usługę internetową, zobacz Samouczek 3: Wdrażanie modelu ryzyka kredytowego. Ta procedura zawiera eksperyment oceniania, jak pokazano na rysunku 3.

Rysunek 3. Ocenianie eksperymentu problemu z klasyfikacją dwuklasową iris

Teraz musisz ustawić dane wejściowe i wyjściowe dla usługi internetowej. Dane wejściowe to właściwy port wejściowy Modelu Skoringowego, który dotyczy cech kwiatu irysów. Wybór danych wyjściowych zależy od tego, czy interesuje Cię przewidywana klasa (etykieta oceniana), obliczone prawdopodobieństwo, czy oba te elementy. W tym przykładzie przyjęto założenie, że interesuje Cię obie te elementy. Aby wybrać żądane kolumny wyjściowe, użyj modułu Select Columns in Data set (Wybieranie kolumn w zestawie danych). Kliknij pozycję Wybierz kolumny w zbiorze danych, kliknij Uruchom selektor kolumn, a następnie wybierz Scored Labels (Etykiety wynikowe) i Scored Probabilities (Prawdopodobieństwa wynikowe). Po ustawieniu portu wyjściowego Select Columns in Data set i jego ponownym uruchomieniu powinieneś być gotowy do opublikowania eksperymentu oceniania jako usługi internetowej, klikając PUBLISH WEB SERVICE. Końcowy eksperyment wygląda jak Rysunek 4.

Rysunek 4. Końcowa ocena problemu dwuklasowej klasyfikacji irysów

Po uruchomieniu usługi internetowej i wprowadzeniu niektórych wartości funkcji wystąpienia testowego wynik zwraca dwie liczby. Pierwsza liczba to przyznana etykieta, a druga to oceniane prawdopodobieństwo. Ten kwiat jest przewidywany jako klasa 1 z prawdopodobieństwem 0,9655.

Rysunek 5. Wynik usługi internetowej klasyfikacji dwuklasowej irysów

Klasyfikacja wieloklasowa

Przykładowy eksperyment

W tym eksperymencie wykonasz zadanie rozpoznawania liter jako przykład klasyfikacji wieloklasowej. Klasyfikator próbuje przewidzieć określoną literę %28class%29 na podstawie niektórych ręcznie napisanych wartości atrybutów wyodrębnionych z ręcznie napisanych obrazów.

W danych szkoleniowych znajduje się 16 cech wyodrębnionych z obrazów ręcznie napisanych liter. 26 liter tworzą nasze 26 klas. Rysunek 6 przedstawia eksperyment, który wytrenuje model klasyfikacji wieloklasowej na potrzeby rozpoznawania liter i przewiduje tę samą funkcję ustawioną na zestawie danych testowych.

Rysunek 6. Eksperyment problemu klasyfikacji wieloklasowej rozpoznawania liter

Wizualizowanie wyników z modułu Score Model poprzez kliknięcie na jego port wyjściowy i następnie kliknięcie w Visualize powinno wyświetlić zawartość, jak pokazano na rysunku 7.

Rysunek 7. Wizualizowanie wyników modelu wyników w klasyfikacji wieloklasowej

Interpretacja wyników

Lewe 16 kolumn reprezentuje wartości funkcji zestawu testowego. Kolumny o nazwach takich jak "Obliczone prawdopodobieństwa dla klasy 'XX'" są takie same jak kolumna "Obliczone prawdopodobieństwa" w przypadku dwuklasowym. Pokazują prawdopodobieństwo, że odpowiedni wpis należy do określonej klasy. Na przykład dla pierwszego wpisu istnieje prawdopodobieństwo 0,003571, że jest to "A", 0,000451 prawdopodobieństwo, że jest to "B", itd. Ostatnia kolumna (Scored Labels) jest taka sama jak Scored Labels w przypadku klasyfikacji dwuklasowej. Wybiera klasę z największym szacowanym prawdopodobieństwem jako przewidywaną klasą odpowiedniego wpisu. Na przykład dla pierwszego wpisu etykieta oceniana jest "F", ponieważ ma największe prawdopodobieństwo, że ma wartość "F" (0,916995).

Publikacja usługi sieci Web

Można również uzyskać etykietę punktową dla każdego wpisu oraz prawdopodobieństwo tej etykiety. Podstawowa logika polega na znalezieniu największego prawdopodobieństwa wśród wszystkich ocenianych prawdopodobieństwa. W tym celu należy użyć modułu Execute R Script (Wykonywanie skryptu języka R). Kod języka R jest wyświetlany na rysunku 8, a wynik eksperymentu pokazano na rysunku 9.

Rysunek 8. Kod w języku R do wyodrębniania punktowanych etykiet i powiązanych z nimi prawdopodobieństw etykiet

Rysunek 9. Końcowy eksperyment oceniania problemu z klasyfikacją wieloklasową rozpoznawania liter

Po opublikowaniu i uruchomieniu usługi internetowej i wprowadzeniu niektórych wartości funkcji wejściowych zwrócony wynik wygląda następująco: Rysunek 10. Ta ręcznie napisana litera, z wyodrębnionymi 16 cechami, jest przewidywana jako "T" z prawdopodobieństwem 0,9715.

Rysunek 10. Wynik klasyfikacji wieloklasowej usługi sieciowej

Regresja

Problemy regresji różnią się od problemów klasyfikacji. W przypadku problemu klasyfikacji próbujesz przewidzieć klasy dyskretne, takie jak klasa, do której należy kwiat tęczówki. Ale jak widać w poniższym przykładzie problemu regresji, próbujesz przewidzieć zmienną ciągłą, taką jak cena samochodu.

Przykładowy eksperyment

Użyj przewidywania cen samochodów jako przykładu dla regresji. Próbujesz przewidzieć cenę samochodu na podstawie jego cech, w tym marki, typu paliwa, typu ciała i koła napędowego. Eksperyment jest pokazany na rysunku 11.

Rysunek 11. Eksperyment dotyczący regresji cen samochodów

Wizualizowanie modułu Score Model, wynik wygląda jak na Rysunku 12.

Rysunek 12. Wynik oceniania problemu z przewidywaniem cen samochodów

Interpretacja wyników

„Scored Labels” to kolumna wyników w wynikach tego procesu oceniania. Liczby są przewidywaną ceną dla każdego samochodu.

Publikacja usługi sieci Web

Eksperyment regresji można opublikować w usłudze internetowej i wywołać go na potrzeby przewidywania cen samochodów w taki sam sposób, jak w przypadku użycia klasyfikacji dwuklasowej.

Rysunek 13. Eksperyment oceniania problemu regresji cen samochodów

Po uruchomieniu usługi internetowej zwrócony wynik wygląda tak, jak na Rysunku 14. Przewidywana cena tego samochodu wynosi 15 085,52 USD.

Rysunek 14. Wynik usługi internetowej dotyczący problemu regresji cen samochodów

Klastrowanie

Przykładowy eksperyment

Użyjmy ponownie zestawu danych Iris, aby skompilować eksperyment klastrowania. W tym miejscu można odfiltrować etykiety klas w zestawie danych, aby pozostały tylko cechy, co pozwala na ich użycie do klastrowania. W tym przypadku użycia irysów podczas procesu trenowania określ liczbę grup na dwa, co oznacza, że kwiaty zostaną zgrupowane w dwie klasy. Eksperyment jest pokazany na rysunku 15.

Rysunek 15. Eksperyment z problemem klastrowania irysów

Klastrowanie różni się od klasyfikacji tym, że w zestawie danych treningowych brak jest etykiet referencyjnych. Klasteryzacja grupuje wystąpienia zbioru danych treningowych w odrębne klastry. Podczas procesu trenowania model etykietuje wpisy, ucząc się różnic między ich funkcjami. Następnie wytrenowany model może służyć do dalszego klasyfikowania przyszłych wpisów. Istnieją dwie części wyniku, które nas interesują w ramach problemu klastrowania. Pierwsza część to etykietowanie zestawu danych treningowych, a druga klasyfikuje nowy zestaw danych za pomocą wytrenowanego modelu.

Pierwszą część wyniku można zwizualizować, klikając lewym portem wyjściowym Train Clustering Model, a następnie klikając pozycję Visualize (Wizualizacja). Wizualizacja jest wyświetlana na rysunku 16.

Rysunek 16. Wizualizowanie wyniku klastrowania dla zestawu danych treningowych

Wynik drugiej części, klastrowanie nowych wpisów za pomocą wytrenowanego modelu klastrowania, jest pokazane na rysunku 17.

Rysunek 17. Wizualizowanie wyniku klastrowania w nowym zestawie danych

Interpretacja wyników

Chociaż wyniki obu części wynikają z różnych etapów eksperymentu, wyglądają tak samo i są interpretowane w ten sam sposób. Pierwsze cztery kolumny to funkcje. Ostatnia kolumna, Przypisania, jest wynikiem przewidywania. Wpisy przypisane do tej samej liczbie są przewidziane jako należące do tego samego klastra, czyli mają pewne podobieństwa (w tym eksperymencie stosowana jest domyślna metryka odległości euklidesowej). Ponieważ określono liczbę klastrów na 2, wpisy w przypisania są oznaczone etykietą 0 lub 1.

Publikacja usługi sieci Web

Eksperyment klastrowania można opublikować w usłudze internetowej i wywołać go w celu przewidywania klastrowania w taki sam sposób, jak w przypadku użycia klasyfikacji dwuklasowej.

Rysunek 18. Eksperyment oceny problemu klastrowania irysów

Po uruchomieniu usługi internetowej zwrócony wynik wygląda następująco: Rysunek 19. Ten kwiat ma znajdować się w klastrze 0.

Rysunek 19. Wynik usługi internetowej klasyfikacji dwuklasowej irysów

System rekomendatora

Przykładowy eksperyment

W przypadku systemów rekomendacji można użyć problemu z rekomendacją restauracji jako przykładu: możesz polecić restauracje klientom na podstawie ich historii klasyfikacji. Dane wejściowe składają się z trzech części:

• Oceny restauracji od klientów
• Dane dotyczące funkcji klienta
• Dane funkcji restauracji

Istnieje kilka czynności, które możemy wykonać za pomocą modułu Train Matchbox Recommender w usłudze Machine Learning Studio (wersja klasyczna):

• Przewidywanie ocen dla danego użytkownika i elementu
• Zalecane elementy dla danego użytkownika
• Znajdowanie użytkowników powiązanych z danym użytkownikiem
• Znajdowanie elementów powiązanych z danym elementem

Możesz wybrać, co chcesz zrobić, wybierając z czterech opcji w menu Rodzaj przewidywania rekomendacji. W tym miejscu możesz zapoznać się ze wszystkimi czterema scenariuszami.

Typowy eksperyment usługi Machine Learning Studio (klasyczny) dla systemu rekomendacji wygląda jak Rysunek 20. Aby uzyskać informacje o sposobie korzystania z tych modułów systemu poleceń, zobacz Trenowanie modułu rekomendacji matchbox i Generowanie wyników dla modułu rekomendacji matchbox.

Rysunek 20. Eksperyment systemu rekomendacji

Interpretacja wyników

Przewidywanie ocen dla danego użytkownika i elementu

Wybierając Przewidywanie oceny w obszarze Rodzaj przewidywania systemu rekomendacji, prosisz system o przewidywanie oceny dla danego użytkownika i elementu. Wizualizacja danych wyjściowych Score Matchbox Recommender wygląda jak na Rysunku 21.

Rysunek 21. Wizualizacja wyniku oceny systemu rekomendacji — przewidywanie ocen

Dwie pierwsze kolumny to pary elementów użytkownika udostępniane przez dane wejściowe. Trzecia kolumna to przewidywana ocena użytkownika dla określonego elementu. Na przykład w pierwszym wierszu przewiduje się, że klient U1048 oceni restaurację 135026 na 2.

Zalecane elementy dla danego użytkownika

Wybierając opcję Rekomendacja dotycząca elementu w obszarze Rodzaj przewidywania systemu rekomendacji, prosisz system rekomendacji o polecanie elementów użytkownikowi. Ostatni parametr do wybrania w tym scenariuszu to Wybór zalecanego elementu. Opcja Od elementów ocenianych (na potrzeby oceny modelu) jest przeznaczona głównie do oceny modelu podczas procesu trenowania. Na potrzeby tego etapu przewidywania wybieramy opcję Z wszystkich elementów. Wizualizacja danych wyjściowych Score Matchbox Recommender wygląda jak Rysunek 22.

Rysunek 22. Wizualizacja wyniku systemu rekomendacji — rekomendacja produktu.

Pierwsza z sześciu kolumn reprezentuje podane identyfikatory użytkowników, dla których mają być zalecane elementy, zgodnie z danymi wejściowymi. Pozostałe pięć kolumn reprezentuje elementy zalecane dla użytkownika w kolejności malejącej istotności. Na przykład w pierwszym wierszu najbardziej zalecaną restauracją dla klienta U1048 jest 134986, a następnie 135018, 134975, 135021 i 132862.

Znajdowanie użytkowników powiązanych z danym użytkownikiem

Wybierając pozycję Powiązane użytkownicy w obszarze Rodzaj przewidywania rekomendacji, prosisz system polecający o znalezienie powiązanych użytkowników z danym użytkownikiem. Powiązanych użytkowników to użytkownicy, którzy mają podobne preferencje. Ostatnim parametrem do wyboru w tym scenariuszu jest wybór powiązanego użytkownika. Opcja Od użytkowników, którzy ocenili elementy (na potrzeby oceny modelu) jest przeznaczona głównie do oceny modelu podczas procesu trenowania. Wybierz pozycję Spośród wszystkich użytkowników dla tego etapu przewidywania. Wizualizacja danych wyjściowych Score Matchbox Recommender wygląda jak Rysunek 23.

Rysunek 23. Wizualizacja wyników punktacji użytkowników związanych z systemem rekomendacji

Pierwsza z sześciu kolumn zawiera podane identyfikatory użytkowników potrzebne do znalezienia powiązanych użytkowników, zgodnie z danymi wejściowymi. Pozostałe pięć kolumn przechowuje przewidywanych powiązanych użytkowników użytkownika w kolejności malejącej istotności. Na przykład w pierwszym wierszu najbardziej odpowiedni klient dla klienta U1048 to U1051, a następnie U1066, U1044, U1017 i U1072.

Znajdowanie elementów powiązanych z danym elementem

Wybierając pozycję Elementy pokrewne w obszarze Rodzaj przewidywania modułu rekomendacji, prosisz system polecający o znalezienie powiązanych elementów z danym elementem. Powiązane elementy to elementy, które najprawdopodobniej będą lubiane przez tego samego użytkownika. Ostatnim parametrem do wybrania w tym scenariuszu jest wybór powiązanego elementu. Opcja Z ocenionych elementów (na potrzeby oceny modelu) jest przeznaczona głównie do oceny modelu podczas procesu trenowania. Wybieramy opcję Ze wszystkich elementów dla tego etapu przewidywania. Wizualizacja wyniku Score Matchbox Recommender wygląda jak Rysunek 24.

Rysunek 24. Wizualizacja wyników oceny powiązanych elementów systemu rekomendacji

Pierwsza z sześciu kolumn reprezentuje podane identyfikatory elementów potrzebne do znalezienia powiązanych elementów, zgodnie z danymi wejściowymi. Pozostałe pięć kolumn przechowuje przewidywane powiązane elementy elementu w kolejności malejącej pod względem istotności. Na przykład w pierwszym wierszu, najbardziej odpowiednim elementem dla elementu 135026 jest 135074, a następnie 135035, 132875, 135055 i 134992.

Publikacja usługi sieci Web

Proces publikowania tych eksperymentów jako usług internetowych w celu uzyskania przewidywań jest podobny dla każdego z czterech scenariuszy. W tym miejscu przyjrzymy się drugiemu scenariuszowi (polecamy elementy dla danego użytkownika) jako przykładowi. Możesz wykonać tę samą procedurę z pozostałymi trzema.

Zapisując wytrenowany system rekomendacji jako wytrenowany model i przefiltrowując dane wejściowe, tak aby pozostała tylko jedna kolumna z identyfikatorem użytkownika zgodnie z żądaniem, możesz podłączyć eksperyment w sposób pokazany na rysunku 25 i opublikować go jako usługę sieciową.

Rysunek 25. Eksperyment oceniania problemu z rekomendacją restauracji

Po uruchomieniu usługi internetowej zwrócony wynik wygląda następująco: Rysunek 26. Pięć zalecanych restauracji dla użytkownika U1048 to 134986, 135018, 134975, 135021 i 132862.

Rysunek 26. Wynik usługi sieciowej rekomendacji restauracji