Zobacz wyniki oceny w portalu Microsoft Foundry

Po przesłaniu oceny znajdź przebieg na stronie Ocena . Filtruj lub dopasuj kolumny, aby skupić się na interesujących operacjach. Przed przejściem do szczegółów przejrzyj metryki wysokiego poziomu.

Wybierz "Dowiedz się więcej na temat metryk" dla definicji i formuł.

Wybierz rundę, aby otworzyć szczegóły (zestaw danych, typ zadania, monit, parametry) oraz metryki dla pojedynczego przykładu. Pulpit nawigacyjny metryk wizualizuje szybkość przekazywania lub agregację wyników na metrykę.

W Microsoft Foundry wprowadzono koncepcję uruchomień grupowych. Możesz utworzyć wiele przebiegów w grupie, które mają wspólne cechy, takie jak metryki i zestawy danych, aby ułatwić porównywanie. Po uruchomieniu oceny znajdź grupę na stronie Ocena , która zawiera listę ocen grup i skojarzonych metadanych, takich jak liczba obiektów docelowych i data ostatniej modyfikacji.

Wybierz przebieg grupy, aby przejrzeć szczegóły grupy, w tym poszczególne metryki przebiegu i wysokiego poziomu, takie jak czas trwania przebiegu, tokeny i oceny ewaluatora, dla każdego przebiegu w ramach tej grupy.

Wybierając przebieg w tej grupie, możesz również przejść do szczegółów, aby wyświetlić szczegółowe dane wiersza dla tego konkretnego przebiegu.

Wybierz "Dowiedz się więcej na temat metryk" dla definicji i formuł.

Tablica wskaźników

W sekcji Pulpit nawigacyjny Metryki zagregowane widoki są podzielone według metryk, które obejmują jakość sztucznej inteligencji (AI Assisted), Ryzyko i bezpieczeństwo (wersja zapoznawcza), Jakość sztucznej inteligencji (NLP) i Niestandardowe (jeśli dotyczy). Wyniki są mierzone jako wartości procentowe zdań/niezdań według kryteriów wybranych przy tworzeniu oceny. Aby uzyskać bardziej szczegółowe informacje na temat definicji metryk i sposobu ich obliczania, zobacz Co to są ewaluatory?.

• W przypadku metryk jakości sztucznej inteligencji (AI Assisted) wyniki są agregowane poprzez uśrednienie wszystkich ocen dla każdej metryki. Jeśli używasz Groundedness Pro, wyniki są binarne, a zagregowany wynik to współczynnik zdawalności: (#trues / #instances) × 100.
• W przypadku metryk ryzyka i bezpieczeństwa (wersja zapoznawcza) wyniki są agregowane według współczynnika wad.
  • Szkoda zawartości: procent wystąpień przekraczających próg ważności (wartość domyślna Medium).
  • W przypadku chronionego materiału i ataku pośredniego współczynnik wad jest obliczany jako procent wystąpień, w których dane wyjściowe true są używane przy użyciu formuły (Defect Rate = (#trues / #instances) × 100).
• W przypadku metryk jakości sztucznej inteligencji (NLP) wyniki są agregowane przez średnie wyniki na metrykę.

Wyniki przebiegów oceny i wskaźnik sukcesu

Każde uruchomienie można wyświetlić w grupie na stronie Przebiegi oceny i Szybkość przekazywania wyników. Ten widok przedstawia uruchomienie, cel, stan, czas trwania uruchomienia, tokeny i wskaźnik zaliczeń dla każdego wybranego ewaluatora.

Jeśli chcesz anulować zadania, możesz to zrobić, wybierając poszczególne zadania i klikając przycisk "Anuluj zadania" w górnej części tabeli.

Tabela wyników szczegółowych metryk

Użyj tabeli w obszarze pulpitu nawigacyjnego, aby sprawdzić poszczególne próbki danych. Sortuj według metryki, aby wyświetlić próbki o najgorszej wydajności i zidentyfikować systematyczne luki (nieprawidłowe wyniki, błędy bezpieczeństwa, opóźnienie). Użyj wyszukiwania do grupowania powiązanych tematów niepowodzeń. Zastosuj dostosowywanie kolumn, aby skoncentrować się na kluczowych metrykach.

Typowe akcje:

• Filtruj pod kątem niskich wyników w celu wykrywania wzorców cyklicznych.
• Dostosuj komunikaty lub dokonaj ich szczegółowych korekt, gdy pojawią się luki systemowe.
• Eksportowanie do analizy offline.

Oto kilka przykładów wyników metryk dla scenariusza odpowiedzi na pytania:

Niektóre oceny mają subewaluatory, które umożliwiają wyświetlanie JSON wyników z subewaluacji. Aby wyświetlić wyniki, wybierz pozycję Wyświetl w formacie JSON.

Wyświetl kod JSON w podglądzie JSON:

Oto kilka przykładów wyników metryk dla scenariusza konwersacji. Aby przejrzeć wyniki w całej konwersacji wieloturnowej, wybierz pozycję Wyświetl wyniki oceny per rundę w kolumnie Konwersacja.

Po wybraniu pozycji Wyświetl wyniki oceny na kolei zostanie wyświetlony następujący ekran:

W przypadku oceny bezpieczeństwa w scenariuszu wielomodalnym (tekst i obrazy) można lepiej zrozumieć wynik oceny, przeglądając obrazy zarówno z danych wejściowych, jak i wyjściowych w szczegółowej tabeli wyników metryk. Ponieważ ocena wielomodalna jest obecnie obsługiwana tylko w przypadku scenariuszy konwersacji, możesz wybrać opcję Wyświetl wyniki oceny na każdym etapie, aby sprawdzić dane wejściowe i wyniki dla każdego etapu.

Wybierz obraz, aby go rozwinąć i wyświetlić. Domyślnie wszystkie obrazy są rozmyte, aby chronić cię przed potencjalnie szkodliwą zawartością. Aby wyraźnie wyświetlić obraz, włącz przełącznik Sprawdź rozmycie obrazu .

Wyniki oceny mogą mieć różne znaczenie dla różnych odbiorców. Na przykład oceny bezpieczeństwa mogą generować etykietę niskiej ciężkości brutalnej zawartości, która może nie być zgodna z definicją recenzenta ludzkiego, jak poważna jest konkretna brutalna zawartość. Ustalona ocena progowa podczas tworzenia kryteriów oceny określa, czy przypisano zaliczenie, czy niezaliczenie. Istnieje kolumna Opinie człowieka , w której można wybrać ikonę kciuka w górę lub kciuk w dół podczas przeglądania wyników oceny. Tej kolumny można użyć do rejestrowania, które wystąpienia zostały zatwierdzone lub oflagowane jako nieprawidłowe przez recenzenta.

Aby zrozumieć metryki ryzyka zawartości, wyświetl definicje metryk w sekcji Raport lub przejrzyj dane w sekcji Pulpit metryk.

Jeśli wystąpił problem z przebiegiem, możesz również użyć logów do debugowania przebiegu oceny. Oto kilka przykładów dzienników, których można użyć do debugowania przebiegu oceny:

Jeśli oceniasz przepływ monitu, możesz wybrać przycisk Wyświetl w przepływie , aby przejść do strony ocenianego przepływu i zaktualizować przepływ. Można na przykład dodać dodatkowe instrukcje monitu meta lub zmienić niektóre parametry i ponownie ocenić.

Dane przebiegu oceny

Aby wyświetlić szczegółowe dane dla poszczególnych biegów, wybierz nazwę biegu. Zapewnia to widok, który umożliwia wyświetlanie wyników oceny, obracając się względem każdego używanego ewaluatora.

Aby porównać dwa lub więcej wykonywań, wybierz żądane wykonywania i uruchom proces. Wybierz przycisk Porównaj lub przycisk Przełącz do widoku pulpitu nawigacyjnego, aby wyświetlić szczegółowy widok pulpitu nawigacyjnego. Analizowanie i porównywanie wydajności i wyników wielokrotnych uruchomień w celu podejmowania świadomych decyzji i ukierunkowanych ulepszeń.

W przeglądzie pulpitu nawigacyjnego masz dostęp do dwóch wartościowych komponentów: porównawczego wykresu rozkładu metryk i porównawczej tabeli. Za pomocą tych narzędzi można przeprowadzić równoległą analizę wybranych przebiegów oceny. Różne aspekty poszczególnych przykładów danych można porównać z łatwością i precyzją.

Poniższy zrzut ekranu przedstawia wyniki, gdy pola są takie same:

Gdy użytkownik nie używa tej samej nazwy kryteriów podczas tworzenia oceny, pola nie są zgodne, co powoduje, że platforma nie może bezpośrednio porównać wyników:

W tabeli porównania umieść wskaźnik myszy na przebiegu, którego chcesz użyć jako punktu odniesienia, i ustaw jako linię bazową. Aktywuj przełącznik Pokaż różnicę aby zobrazować różnice między punktem odniesienia a pozostałymi przebiegami dla wartości liczbowych. Wybierz przełącznik Pokaż tylko różnicę , aby wyświetlić tylko wiersze, które różnią się między wybranymi przebiegami, pomagając zidentyfikować odmiany.

Korzystając z tych funkcji porównania, możesz podjąć świadomą decyzję o wybraniu najlepszej wersji:

• Porównanie linii bazowej: ustawiając przebieg punktu odniesienia, można zidentyfikować punkt odniesienia, z którym można porównać inne przebiegi. Zobaczysz, jak każdy przebieg odbiega od wybranego standardu.
• Ocena wartości liczbowej: włączenie opcji Pokaż różnicę pomaga zrozumieć zakres różnic między punktem odniesienia a innymi przebiegami. Ta informacja może pomóc w ocenie wydajności poszczególnych uruchomień pod względem określonych kryteriów oceny.
• Izolacja różnic: funkcja Pokaż tylko różnicę usprawnia analizę, wyróżniając tylko obszary, w których występują rozbieżności między przebiegami. Te informacje mogą mieć kluczowe znaczenie w określeniu, gdzie potrzebne są ulepszenia lub korekty.

Użyj narzędzi porównawczych, aby wybrać konfigurację o najlepszej możliwej wydajności i uniknąć regresji w zakresie bezpieczeństwa lub fundamentów.

Aby ułatwić kompleksowe porównanie co najmniej dwóch uruchomień, możesz wybrać wybrane uruchomienia i zainicjować proces.

1. Wybierz co najmniej dwa uruchomienia na stronie szczegółów oceny.
2. Wybierz Porównaj.

Generuje on widok porównania równoległego dla wszystkich wybranych przebiegów.

Porównanie jest obliczane na podstawie testu t, co zapewnia bardziej dokładne i wiarygodne wyniki do podejmowania decyzji. Możesz użyć różnych funkcji tej funkcji:

• Porównanie linii bazowej: ustawiając przebieg punktu odniesienia, można zidentyfikować punkt odniesienia, z którym można porównać inne przebiegi. Zobaczysz, jak każdy przebieg odbiega od wybranego standardu.
• Ocena t-testowa statystyk: Każda komórka zawiera wyniki statystyki z różnymi kodami kolorów. Możesz również umieścić kursor na komórce, aby uzyskać rozmiar próbki i wartość p.

Mierzenie luki w zabezpieczeniach jailbreak

Ocena luki w zabezpieczeniach systemu jailbreak jest pomiarem porównawczym, a nie metryką wspomaganą przez sztuczną inteligencję. Uruchamianie ocen na dwóch różnych, red-teamed zestawów danych: bazowy zestaw danych testu niepożądanego w porównaniu z tym samym niepożądanym zestawem danych testowych z wstrzyknięciami jailbreaku w pierwszym kroku. Możesz użyć symulatora danych niepożądanych, aby wygenerować zestaw danych z wstrzyknięciami systemu jailbreak lub bez niego. Upewnij się, że wartość Nazwa kryteriów jest taka sama dla każdej metryki oceny podczas konfigurowania przebiegów.

Aby sprawdzić, czy aplikacja jest podatna na jailbreak, określ punkt odniesienia i włącz opcję Wskaźniki wad jailbreak w tabeli porównawczej. Współczynnik wad jailbreaku jest procentem wystąpień w zestawie danych testowych, w których zastosowanie jailbreak generuje wyższy wynik istotności dla każdej metryki ryzyka zawartości w porównaniu z punktem odniesienia w całym zestawie danych. Wybierz wiele ocen na pulpicie nawigacyjnym Porównanie , aby wyświetlić różnicę w współczynnikach wad.