Uwaga dotycząca przezroczystości usługi Azure OpenAI

W ramach w pełni zarządzanej usługi Azure OpenAI modele GPT-3 analizują i generują język naturalny, modele Codex analizują i generują kod oraz komentarz kodu w postaci zwykłego tekstu oraz modelami rozumowania GPT-4 oraz modelami rozumowania (w tym modelami serii o i GPT-5) mogą zrozumieć i wygenerować język naturalny oraz kod. Modele te używają architektury autoregresywnej, co oznacza, że używają danych z wcześniejszych obserwacji do przewidywania najbardziej prawdopodobnego następnego słowa. Ten proces jest następnie powtarzany przez dołączenie nowo wygenerowanej zawartości do oryginalnego tekstu w celu utworzenia kompletnej wygenerowanej odpowiedzi. Ponieważ odpowiedź jest zależna od tekstu wejściowego, modele te można stosować do różnych zadań po prostu zmieniając tekst wejściowy.

Seria modelów GPT-3 jest przeszkolona na obszernej kolekcji publicznie dostępnych, bezpłatnych danych tekstowych. Te dane pochodzą z kombinacji przeszukiwania sieci Web (w szczególności przefiltrowanej wersji Common Crawl, która zawiera szeroką gamę tekstów z Internetu i składa się z 60 procent ważonego zestawu danych wstępnego trenowania) oraz zestawów danych o wyższej jakości, w tym rozszerzonej wersji zestawu danych WebText, dwóch internetowych zbiorów książek oraz anglojęzycznej Wikipedii. Model podstawowy GPT-4 został wytrenowany przy użyciu publicznie dostępnych danych (takich jak dane internetowe) i danych, które zostały licencjonowane przez platformę OpenAI. Model został dostosowany przy użyciu uczenia wzmacniania z opiniami ludzkimi (RLHF).

Model Korzystanie z komputera (wersja zapoznawcza) akceptuje wprowadzanie tekstu w pierwszym kroku, a obraz zrzutu ekranu w drugim i następnym kroku oraz zwraca polecenia klawiatury i myszy. Model korzystania z komputera i narzędzie do korzystania z komputera umożliwiają deweloperom tworzenie systemów agentowych sztucznej inteligencji.

Dowiedz się więcej o technikach trenowania i modelowania opisanych w pracach badawczych OpenAI na temat GPT-3, GPT-4 i Codex.

Dostrajanie precyzyjne odnosi się do używania nadzorowanego dostrajania w celu dostosowania wag modelu podstawowego w celu zapewnienia lepszych odpowiedzi na podstawie dostarczonego zestawu treningowego. Wszystkie przypadki użycia i zagadnienia dotyczące dużych modeli językowych mają zastosowanie do dostosowanych modeli, ale istnieją również dodatkowe zagadnienia.

Kluczowe terminy

W pełni zarządzana usługa zapewnia dostęp interfejsu API do Azure OpenAI DALL·E 2, DALL·E 3, GPT-image-1, GPT-4 Turbo, a także interfejsów API Vision, GPT-4o i o1.

Azure OpenAI DALL·E API umożliwiają generowanie bogatych obrazów z poleceń tekstowych i wejściowych obrazów w aplikacji. Ten zaawansowany, wielomodalny model sztucznej inteligencji został opracowany przez platformę OpenAI i może generować obrazy, które przechwytują zarówno semantykę, jak i styl wprowadzania tekstu.

Więcej informacji na temat technik trenowania i modelowania DALL·E można znaleźć w artykułu badawczego OpenAI DALL·E oraz na temat bezpieczeństwa DALL·E 3 w karcie systemu OpenAI DALL·E 3.

Usługa Azure OpenAI GPT-4 Turbo z usługą Vision może akceptować dane wejściowe wielomodalne (obraz i tekst) oraz generować odpowiedzi języka naturalnego i kodu. Ten interfejs API umożliwia bogatsze i bardziej kompleksowe zrozumienie danych wejściowych obrazów i wideo.

Więcej informacji na temat technik trenowania i modelowania GPT-4 Turbo z Vision można znaleźć w artykule badawczym OpenAI GPT-4 oraz w kwestiach bezpieczeństwa GPT-4 Turbo z Vision opisanych na karcie systemu.

Usługa Azure OpenAI GPT-4o może akceptować dane wejściowe wielomodalne (obraz i tekst) oraz generować odpowiedzi języka naturalnego i kodu, podobnie jak w przypadku interfejsu Azure OpenAI GPT-4 Turbo z usługą Vision.

Usługa Azure OpenAI Computer Use (wersja zapoznawcza) akceptuje tekst w pierwszej turze, a obraz zrzutu ekranu w drugiej i kolejnych turach, i wydaje polecenia klawiatury i myszy. Model korzystania z komputera i narzędzie do korzystania z komputera umożliwiają deweloperom tworzenie systemów agentowych sztucznej inteligencji.

Poniższe wskazówki pochodzą ze szczegółowych informacji i najlepszych rozwiązań firmy Microsoft dotyczących odpowiedzialnej sztucznej inteligencji.

Kluczowe terminy

Model gpt-4o-realtime-preview w usłudze Azure OpenAI umożliwia niezawodne interakcje zamiany mowy na mowę i zamianę tekstu na mowę. Ten model integruje zaawansowane funkcje rozpoznawania mowy i syntezy, umożliwiając zrozumienie danych wejściowych mówionych, generowanie dokładnych transkrypcji i generowanie płynnych danych wyjściowych mówionych w języku docelowym. Dzięki zdolności do tłumaczenia mowy w czasie rzeczywistym, gpt-4o-realtime-preview ułatwia dynamiczne konwersacje w różnych językach.

Model Whisper w usłudze Azure OpenAI umożliwia dostęp do modelu, który wykonuje niezawodne zadania rozpoznawania mowy i tłumaczenia. Model Szeptu to model automatycznego rozpoznawania mowy (ASR), który został opracowany przez OpenAI i potrafi transkrybować pliki audio mowy w języku, w którym była mowa, a także tłumaczyć je na język angielski.

Więcej informacji na temat technik trenowania i modelowania modelu Whisper można znaleźć w dokumencie badawczym OpenAI Whisper. Model Whisper jest również używany w usłudze Azure Speech in Foundry Tools. Dowiedz się więcej na temat integracji usługi Azure Speech i oceń ją pod kątem użycia tutaj.

Kluczowe terminy

Modele rozumowania, GPT-4, GPT-3, Modele Codex i Ocena usługi Azure OpenAI używają instrukcji języka naturalnego i przykładów w monicie o zidentyfikowanie zadania. Następnie model wykonuje zadanie, przewidując najbardziej prawdopodobny następny tekst. Ta technika jest znana jako nauka "w kontekście". Modele te nie są ponownie trenowane w tym kroku, ale zamiast tego dają przewidywania na podstawie kontekstu uwzględnionego w tekście podpowiedzi.

Istnieją trzy główne podejścia do uczenia w kontekście. Te podejścia różnią się w zależności od ilości danych specyficznych dla zadania, które są przekazywane do modelu:

Uczenie na kilku przykładach: w tym przypadku użytkownik zawiera kilka przykładów w podpowiedzi, które pokazują oczekiwany format odpowiedzi i zawartość. W poniższym przykładzie pokazano kilka wyświetleń monitu zawierającego wiele przykładów:

Convert the questions to a command: 
Q: Ask Constance if we need some bread 
A: send-msg `find constance` Do we need some bread? 
Q: Send a message to Greg to figure out if things are ready for Wednesday. 
A: send-msg `find greg` Is everything ready forWednesday? 
Q: Ask Ilya if we're still having our meeting thisevening 
A: send-msg `find ilya` Are we still having a meetingthis evening? 
Q: Contact the ski store and figure out if I can getmy skis fixed before I leave on Thursday 
A: send-msg `find ski store` Would it be possible toget my skis fixed before I leave on Thursday? 
Q: Thank Nicolas for lunch 
A: send-msg `find nicolas` Thank you for lunch! 
Q: Tell Constance that I won't be home before 19:30tonight — unmovable meeting. 
A: send-msg `find constance` I won't be home before19:30 tonight. I have a meeting I can't move. 
Q: Tell John that I need to book an appointment at10:30 
A:  

Liczba przykładów zwykle waha się od 0 do 100 w zależności od tego, ile może mieścić się w maksymalnej długości danych wejściowych dla pojedynczego monitu. Uczenie przy małej liczbie danych umożliwia znaczne zmniejszenie ilości danych charakterystycznych dla zadań wymaganych do dokładnych predykcji.

Jednokrotne : ten przypadek jest taki sam jak podejście z kilkoma przykładami, z wyjątkiem tego, że podano tylko jeden przykład. W poniższym przykładzie przedstawiono jednorazową podpowiedź:

Convert the questions to a command:
Q: Ask Constance if we need some bread
A: send-msg `find constance` Do we need some bread?
Q: Send a message to Greg to figure out if things are ready for Wednesday.
A:

Zero-shot: W tym przypadku nie podano żadnych przykładów do modelu i podano tylko żądanie zadania. W poniższym przykładzie przedstawiono monit zero-shot:

Convert the question to a command:
Q: Ask Constance if we need some bread
A:

Łańcuch myśli : modele rozumowania usługi Azure OpenAI mają zaawansowane możliwości rozumowania przy użyciu technik łańcucha myśli (CoT). Techniki coT generują pośrednie kroki rozumowania przed dostarczeniem odpowiedzi, umożliwiając im rozwiązywanie bardziej złożonych problemów dzięki rozwiązywaniu problemów krok po kroku. o1 wykazuje poprawę w testach porównawczych badających rozumowanie w takich dziedzinach jak badania naukowe, strategia, nauka, kodowanie i matematyka, między innymi. Te modele mają ulepszenia bezpieczeństwa dzięki zaawansowanym możliwościom rozumowania, pozwalającym na bardziej skuteczne stosowanie reguł bezpieczeństwa. Skutkuje to lepszą wydajnością w porównaniu z kryteriami bezpieczeństwa, takimi jak generowanie niedozwolonych porad, wybieranie stereotypowych odpowiedzi i podatność na znane przypadki łamania zabezpieczeń.

Aby uzyskać więcej informacji na temat możliwości tej rodziny modeli, zobacz OpenAI o1 System Card, o3-mini System Card, o3/o4-mini System Card, Deep Research System Card i GPT-5 System Card.

Ocena interfejsu Azure OpenAI

Ocena dużych modeli językowych jest krytycznym krokiem w mierzeniu ich wydajności w różnych zadaniach i wymiarach. To zadanie jest szczególnie ważne w przypadku dopasowanych modeli, gdzie ocena przyrostów (lub strat) wydajności z procesu trenowania ma kluczowe znaczenie. Bez dokładnych ocen może okazać się trudne zrozumienie, w jaki sposób różne wersje modelu mogą mieć wpływ na konkretną aplikację.

Ocena usługi Azure OpenAI to środowisko oparte na interfejsie użytkownika do oceny danych, w tym wygenerowanych zestawów danych z wdrożenia usługi Azure OpenAI lub innych ręcznie wyselekcjonowanych plików.

Ocena usługi Azure OpenAI ma opcjonalny krok generowania odpowiedzi. Jeśli użytkownik zdecyduje się na ten krok, udostępnimy monit (system/komunikat użytkownika), aby poinstruować model, jak wygenerować odpowiedzi.

Ewaluacja Azure OpenAI obejmuje 9 kategorii testów, aby oszacować wyniki. Niektóre wymagają podstawowych danych prawdy (na przykład faktów), podczas gdy inne nie (weryfikacja schematu). Oceny są połączeniem obliczeń używających CPU i modeli bazujących na algorytmach. Oto lista kryteriów testowania: Faktowość, Tonacja, Prawidłowy kod JSON lub XML, Dopasowanie kryteriów, Podpowiedź niestandardowa, Podobieństwo semantyczne, Zawiera ciąg, Pasuje do schematu oraz jakość tekstu.

Text-to-action

Model Korzystanie z komputera (wersja zapoznawcza) umożliwia korzystanie z funkcji zamiany tekstu na działanie, dzięki czemu użytkownicy mogą udostępniać użytkownikom instrukcje języka naturalnego, które model tłumaczy na kroki umożliwiające podejmowanie działań w interfejsach użytkownika graficznego. Na podstawie polecenia takiego jak "Wypełnij formularz pomocy technicznej klienta, korzystając z tych informacji", model identyfikuje odpowiednie pola, wprowadza poprawne dane i przesyła formularz. Może nawigować po interfejsach internetowych, wyodrębniać i wprowadzać dane ustrukturyzowane lub nieustrukturyzowane, automatyzować przepływy pracy i wymuszać zgodność z zasadami zabezpieczeń. Dzięki zrozumieniu intencji i wykonywaniu akcji usprawnia ona operacje biznesowe, dzięki czemu automatyzacja jest bardziej dostępna i wydajna.

API generowania obrazów w usłudze Azure OpenAI

Interfejsy API DALL·E 2, DALL·E 3 i GPT-image-1 używają poleceń w języku naturalnym do generowania nowej zawartości. Modele te zostały przeszkolone na bazie par obrazów i odpowiadających im podpisów, pochodzących z publicznie dostępnych źródeł oraz innych źródeł licencjonowanych przez OpenAI.

Te generacyjne modele sztucznej inteligencji przedstawiają niezliczone możliwości dla deweloperów, artystów, projektantów, nauczycieli i innych. Modele mogą wypełnić lukę między tym, co można sobie wyobrazić i co można utworzyć. Umożliwiają one międzydomenowe, ogólne zrozumienie i zerowe tłumaczenie między monitami tekstowymi i obrazami, często z wysokim stopniem realizmu.

Główne możliwości interfejsów API do generowania obrazów usługi Azure OpenAI to:

• Tekst do obrazu: model przyjmuje monit tekstowy w celu wygenerowania obrazów.

  Przykładowy monit tekstowy	Przykładowy wygenerowany obraz
  "Malowanie akwareli z panoramy Seattle"

  Tip

  Osoby publiczne, które chcą, aby ich przedstawienie nie zostało wygenerowane, mogą zrezygnować, wysyłając wiadomość e-mail na adres support@openai.com.

• Przekształcanie monitu: Dla modeli DALL·E 3: przed wysłaniem monitu do modelu w celu wygenerowania obrazów, do monitu stosuje się zabezpieczenia i regulacje jakości. Transformacja podpowiedzi ma na celu generowanie bardziej zróżnicowanych i wyższej jakości obrazów.

  Transformacja monitu jest stosowana do każdego języka DALL w usłudze Azure OpenAI· Generacja E 3.

  Aby uzyskać więcej informacji, zobacz Guardrails (wcześniej filtry zawartości). Po zastosowaniu przekształcenia monitu do oryginalnego monitu, Guardrails (wcześniej filtry zawartości) jest stosowane jako krok dodatkowy przed wygenerowaniem obrazu.

  Dowiedz się więcej o tworzeniu podpowiedzi do generowania obrazów w dokumentacji OpenAI.

  Przykładowy monit tekstowy	Przykład obrazu wygenerowanego bez przekształcenia instrukcji	Przykład wygenerowany obraz z transformacją monitu
  "Malowanie akwareli z panoramy Seattle"

• Obraz-obraz: W przypadku modeli GPT-image-1: model przyjmuje obraz i monit tekstowy i zwraca nowy lub zmieniony obraz na podstawie instrukcji tekstowych.

• Inpainting: W przypadku modeli GPT-image-1: model przyjmuje obraz i maskę (obraz, który używa przezroczystych pikseli do definiowania obszaru fokusu) wraz z instrukcjami tekstowymi i generuje nową zawartość tylko w określonym obszarze. Jest to używane w przypadku zadań, takich jak poprawianie lub kończenie obrazów, lub twórcze zmienianie ich przy jednoczesnym zachowaniu spójności otaczającego kontekstu.

Interfejsy API czatu z obsługą analizy wizji w usłudze Azure OpenAI

GPT-4 Turbo z funkcją wizji i GPT-4o używają języka naturalnego i monitów obrazowych do generowania odpowiedzi w języku naturalnym lub kodu. Modele akceptują tylko tekst, tylko obraz i przeplatane dane wejściowe tekstu i obrazu. Te modele są częścią rodziny GPT i są rozszerzeniami GPT-4.

Usługa Azure Vision in Foundry Tools Service zapewnia ulepszanie wideo dla GPT-4 Turbo z funkcją Vision (wersja zapoznawcza), które mogą również przyjmować dane wejściowe w postaci wideo, aby generować odpowiedzi w języku naturalnym lub w formie kodu. Ta funkcja nie jest dostępna w najnowszej wersji modelu GPT-4 Turbo z funkcją Vision.

Przykładowy monit	Przykładowe uzupełnianie
"Do czego służy?"	Są to pomidory. Są one powszechnie stosowane jako składnik żywności w różnych potrawach, zarówno surowe, jak i gotowane. Pomidory mogą być używane w sałatkach, kanapkach, sosach, zupach, sokach i wielu innych zastosowaniach kulinarnych. Są one również znane z ich bogatej zawartości odżywczej, w tym witamin, minerałów i przeciwutleniaczy.
Jak mogę użyć aby to zrobić?	Możesz używać pomidorów do zupy pomidorowej, wykonując następujące ogólne kroki: Ingredients: Tomatoes Onion Garlic Oliwa z oliwek lub masło Bulion z kurczaka lub warzyw Salt Pepper Opcjonalnie: zioła, takie jak bazylia, oregano, lub tymianek Instructions: Preparation: Dokładnie umyć pomidory. Pokroić pomidory na połówki lub ćwiartki. Obierz i posiekaj cebulę i czosnek...

Korzystanie z komputera w usłudze Azure OpenAI (wersja zapoznawcza)

Model korzystania z komputera jest oparty na dopracowanej wersji możliwości wizualnych GPT-4o, umożliwiającej interpretację i interakcję z graficznymi interfejsami użytkownika (GUI) za pomocą zrzutów ekranu. Analizując elementy wizualne, takie jak przyciski, pola tekstowe i menu, może on poznać układy aplikacji, wykryć odpowiednie składniki interfejsu i odpowiednio wykonać akcje. Umożliwia to precyzyjną automatyzację interakcji internetowych i programowych, umożliwiając wykonywanie zadań, takich jak wyodrębnianie danych, uzupełnianie formularzy i wykonywanie przepływu pracy na podstawie kontekstu wizualnego w czasie rzeczywistym.

Rozmycie twarzy

W przypadku danych wejściowych do GPT-4 Turbo z funkcją "Vision", GPT-4o, GPT-4o mini, które zawierają obrazy lub wideo osób, system wpierw rozmazuje twarze, zanim zostaną przetworzone w celu uzyskania żądanych wyników.

Rozmycie pomaga chronić prywatność zaangażowanych osób i grup oraz chronić przed ograniczonymi przypadkami użycia. Rozmycie nie powinno mieć wpływu na jakość ukończenia, ale w niektórych przypadkach system może odwoływać się do rozmycia twarzy.

Korzystanie z komputera w usłudze Azure OpenAI (wersja zapoznawcza)

Model korzystania z komputera jest oparty na dopracowanej wersji możliwości wizualnych GPT-4o, umożliwiającej interpretację i interakcję z graficznymi interfejsami użytkownika (GUI) za pomocą zrzutów ekranu. Analizując elementy wizualne, takie jak przyciski, pola tekstowe i menu, może on poznać układy aplikacji, wykryć odpowiednie składniki interfejsu i odpowiednio wykonać akcje. Umożliwia to precyzyjną automatyzację interakcji internetowych i programowych, umożliwiając wykonywanie zadań, takich jak wyodrębnianie danych, uzupełnianie formularzy i wykonywanie przepływu pracy na podstawie kontekstu wizualnego w czasie rzeczywistym.

Model gpt-4o-realtime-preview w usłudze Azure OpenAI umożliwia zaawansowane funkcje mowy, zapewniając rozpoznawanie mowy w czasie rzeczywistym, tłumaczenie i syntezę. GPT-4o umożliwia płynną komunikację przez konwertowanie mówionych danych wejściowych na spójne dane wyjściowe w języku docelowym.

Usługa Azure OpenAI oferuje te funkcje za pośrednictwem interfejsu API czasu rzeczywistego:

• Przetwarzanie danych wejściowych mówionych w celu wygenerowania danych wyjściowych mówionych
• Tłumaczenie mówionych danych wejściowych na inny język
• Transkrypcja mowy wejściowej i wyjściowej

Usługa jest przeznaczona do szybkiego przetwarzania mowy na mowę interakcji mówionych, ułatwiając rozmowy w czasie rzeczywistym z minimalnym opóźnieniem.

Model Whisper w usłudze Azure OpenAI umożliwia transkrypcję mowy na tekst i tłumaczenie plików audio. Model został wytrenowany na wielojęzycznych i wielozadaniowych danych zebranych z Internetu. Te duże i zróżnicowane zestawy danych umożliwiły lepszą niezawodność atrybutów, takich jak akcenty, szum w tle i język techniczny, a jednocześnie włączenie transkrypcji w wielu językach i tłumaczenie na język angielski.

Usługa Azure OpenAI udostępnia te funkcje za pośrednictwem dwóch interfejsów API REST:

• Transkrypcja dostarczonego pliku audio
• Tłumaczenie dostarczonego pliku audio na język angielski

Usługa zapewnia możliwość synchronicznego przetwarzania pojedynczych plików audio tak szybko, jak to możliwe. Jest to ograniczone do mniej niż 15 do 30 minut dźwięku w zależności od kompresji audio.

Usługa zapewnia wysoce czytelne transkrypcje, które często usuwają dysfluencje i zapewniają dokładniejsze granice zdań, interpunkcję i użycie wielkich liter. Możesz również użyć monitów, aby poprawić jakość danych wyjściowych modelu zgodnie z potrzebami scenariusza. Aby uzyskać więcej informacji, zobacz Najlepsze rozwiązania dotyczące ulepszania informacji o systemie .

Aby uzyskać więcej informacji na temat możliwości modelu 4o, zobacz kartę systemowa OpenAI 4o.

Zamierzone zastosowania

Modele tekstowe mogą być używane w wielu scenariuszach. Poniższa lista nie jest wyczerpująca, ale ilustruje różnorodność zadań, które mogą być obsługiwane dzięki modelom z odpowiednimi środkami zaradczymi.

• Interakcja z czatem i konwersacją : użytkownicy mogą wchodzić w interakcje z agentem konwersacyjnym, który odpowiada na odpowiedzi pochodzące z zaufanych dokumentów, takich jak wewnętrzna dokumentacja firmy lub dokumentacja techniczna. Konwersacje muszą być ograniczone do odpowiadania na pytania o określonym zakresie.
• Tworzenie czatów i konwersacji : użytkownicy mogą utworzyć agenta konwersacyjnego, który odpowiada odpowiedziami na podstawie zaufanych dokumentów, takich jak wewnętrzna dokumentacja firmy lub dokumentacja techniczna. Konwersacje muszą być ograniczone do odpowiadania na pytania o określonym zakresie.
• Scenariusze generowania lub przekształcania kodu : na przykład konwertowanie jednego języka programowania na inny, generowanie dokumentacji dla funkcji, konwertowanie języka naturalnego na język SQL.
• Treści dziennikarskie : Aby wykorzystywać do tworzenia nowych treści dziennikarskich lub do przekształcania treści dziennikarskich przesłanych przez użytkownika jako wsparcie w pisaniu na wstępnie zdefiniowane tematy. Użytkownicy nie mogą używać aplikacji jako narzędzia do tworzenia zawartości ogólnej dla wszystkich tematów.
• Odpowiadanie na pytania : użytkownicy mogą zadawać pytania i otrzymywać odpowiedzi z zaufanych dokumentów źródłowych, takich jak wewnętrzna dokumentacja firmy. Aplikacja nie generuje odpowiedzi bez podparcia w dokumentacji zaufanego źródła.
• Powód dotyczący danych ustrukturyzowanych i nieustrukturyzowanych : użytkownicy mogą analizować dane wejściowe przy użyciu klasyfikacji, analizy tonacji tekstu lub wyodrębniania jednostek. Przykłady obejmują analizowanie tonacji opinii o produkcie, analizowanie rozmów z pomocą techniczną i transkrypcji rozmów oraz udoskonalanie wyszukiwania opartego na tekście przy użyciu embeddingów.
• Wyszukiwanie : użytkownicy mogą przeszukiwać zaufane dokumenty źródłowe, takie jak wewnętrzna dokumentacja firmy. Aplikacja nie generuje wyników nieuzasadnionych w dokumentacji zaufanych źródeł.
• Podsumowanie : użytkownicy mogą przesyłać zawartość do podsumowania dla wstępnie zdefiniowanych tematów wbudowanych w aplikację i nie mogą używać aplikacji jako otwartego podsumowania. Przykłady obejmują podsumowanie wewnętrznej dokumentacji firmy, transkrypcji centrum telefonicznego, raportów technicznych i przeglądów produktów.
• Pisanie pomocy dotyczącej określonych tematów : użytkownicy mogą tworzyć nową zawartość lub ponownie zapisywać zawartość przesłaną przez użytkownika jako pomoc do pisania zawartości biznesowej lub wstępnie zdefiniowanych tematów. Użytkownicy mogą ponownie pisać lub tworzyć zawartość tylko dla określonych celów biznesowych lub wstępnie zdefiniowanych tematów i nie mogą używać aplikacji jako narzędzia do tworzenia zawartości ogólnej dla wszystkich tematów. Przykłady zawartości biznesowej obejmują propozycje i raporty. W przypadku wykorzystania dziennikarskiego, zapoznaj się z powyższym przypadkiem użycia treści dziennikarskich.
• Generowanie danych na potrzeby dostrajania: użytkownicy mogą używać modelu w usłudze Azure OpenAI do generowania danych, które są używane wyłącznie do dostosowywania (i) innego modelu azure OpenAI, korzystając z możliwości dostrajania usługi Azure OpenAI i/lub (ii) innego modelu niestandardowego usługi Azure AI przy użyciu możliwości dostrajania narzędzia Foundry. Generowanie danych i dostrajanie modeli jest ograniczone tylko do użytkowników wewnętrznych; Dostosowany model może być używany tylko do wnioskowania w odpowiednim narzędziu Foundry Tool i w przypadku usługi Azure OpenAI tylko w przypadku dozwolonych przypadków użycia klienta w tym formularzu.

Doprecyzowane przypadki użycia

Poniżej przedstawiono dodatkowe przypadki użycia, które zalecamy w przypadku dostrojonych modeli. Dostrajanie jest najbardziej odpowiednie dla:

• Kierowanie stylem, formatowaniem, tonem lub jakościowymi aspektami odpowiedzi za pomocą przykładów żądanych odpowiedzi.
• Zapewnienie, że model niezawodnie generuje żądane dane wyjściowe , takie jak dostarczanie odpowiedzi w określonym formacie lub zapewnienie, że odpowiedzi są uziemione przez informacje w wierszu polecenia.
• Przypadki użycia z wieloma przypadkami brzegowymi, których nie można uwzględnić w przykładach w podpowiedzi, takich jak złożone przykłady przekształcania języka naturalnego na kod.
• Zwiększanie wydajności w określonych umiejętnościach lub zadaniach , takich jak klasyfikacja, podsumowanie lub formatowanie — które mogą być trudne do opisania w wierszu polecenia.
• Zmniejszenie kosztów lub opóźnień dzięki użyciu krótszych poleceń lub zastąpieniu dostosowanej wersji mniejszego/szybszego modelu bardziej uniwersalnym modelem (np. dostrojenie GPT-3.5-Turbo zamiast GPT-4).

Podobnie jak w przypadku modeli podstawowych, zakazy przypadków użycia opisane w kodeksie postępowania usługi Azure OpenAI mają zastosowanie również do dostosowanych modeli.

Samodzielne dostrajanie modelu nie jest zalecane w przypadku konkretnych scenariuszy, w których chcesz rozszerzyć model, aby uwzględniać informacje spoza domeny, gdzie ważne są wyjaśnialność lub ugruntowanie, lub gdzie podstawowe dane są często aktualizowane.

Przypadki użycia modelu rozumowania

Zaawansowane możliwości rozumowania modeli rozumowania mogą być najbardziej odpowiednie w przypadku zastosowań nauki, kodowania, matematyki i podobnych dziedzin. Konkretne przypadki użycia mogą obejmować:

• Złożone generowanie kodu, analiza i optymalizacja: generowanie algorytmów i zaawansowane zadania kodowania ułatwiające deweloperom wykonywanie wieloetapowych przepływów pracy, lepsze zrozumienie kroków wykonywanych podczas tworzenia kodu.
• Zaawansowane rozwiązywanie problemów: Kompleksowe sesje burzy mózgów, opracowywanie strategii i podział wielowymiarowych problemów.
• Porównanie złożonych dokumentów: analizowanie kontraktów, plików przypadków lub dokumentów prawnych w celu rozróżniania subtelnych różnic w zawartości dokumentu.
• Instrukcje i zarządzanie przepływami pracy: Obsługa przepływów pracy wymagających krótszego kontekstu.

Aby uzyskać więcej szczegółowych informacji na temat zamierzonych zastosowań, odwiedź kartę systemową OpenAI o1, kartę systemową o3-mini, kartę systemową o3/o4-mini oraz kartę systemową GPT-5.

Przypadki użycia głębokich badań

Głębokie modele badań to precyzyjne wersje modeli rozumowania serii o, które zostały zaprojektowane do wykonywania zapytań wysokiego poziomu i zwracania ustrukturyzowanego raportu bogatego w cytaty. Modele tworzą podzapytania i zbierają informacje z wyszukiwań internetowych w kilku iteracji przed zwróceniem ostatecznej odpowiedzi. Przypadki użycia mogą obejmować następujące elementy z odpowiednim nadzorem człowieka:

• Złożony przegląd badań i literatury: Syntetyzowanie ustaleń w setkach artykułów naukowych, identyfikowanie luk lub sprzeczności w badaniach, proponowanie nowatorskich hipotez lub kierunków badawczych.
• Odkrycie naukowe i generowanie hipotez: Eksplorowanie połączeń między odkryciami w różnych dyscyplinach, generowanie testowych hipotez lub projektów eksperymentalnych, pomagając w interpretowaniu nieprzetworzonych danych eksperymentalnych.
• Zaawansowane rozwiązywanie problemów technicznych: Debugowanie złożonych systemów (na przykład oprogramowania rozproszonego, robotyki), projektowanie nowatorskich algorytmów lub architektur oraz rozwiązywanie zaawansowanych problemów matematycznych lub fizycznych.
• Rozszerzanie długoterminowego planowania: Pomaganie kadrze kierowniczej lub naukowcom w planowaniu 10-letnich planów technologicznych, modelowanie scenariuszy z długim zakresem w zakresie bezpieczeństwa sztucznej inteligencji, bezpieczeństwa biobezpieczeństwa lub klimatu, ocenianie skutków decyzji drugiej i trzeciej kolejności.

Głębokie modele badań są dostępne jako narzędzie w usłudze Azure AI Agents . Aby uzyskać więcej szczegółowych informacji na temat zamierzonych zastosowań, zobacz kartę systemu OpenAI Deep Research.

Przypadki użycia oceny usługi Azure OpenAI

Ocena Azure OpenAI jest funkcją tylko tekstową i nie może być używana z modelami obsługującymi wejścia nietekstowe. Evals można używać w wielu scenariuszach, w tym, ale nie tylko:

• Ocena dopasowania tekstu/porównania: jest to przydatne w scenariuszach, w których użytkownik chce sprawdzić, czy dane wyjściowe są zgodne z oczekiwanym ciągiem. Użytkownicy mogą również porównać dwa zestawy wartości i ocenić relacje. Przykłady obejmują, ale nie są ograniczone do pytań wielokrotnego wyboru, w których odpowiedzi są porównywane z kluczem odpowiedzi i weryfikacją ciągu.
• Jakość tekstu: Jakość tekstu ocenia jakość odpowiedzi za pomocą metod, takich jak Bleu, Rouge lub algorytmy cosinusowe i jest powszechnie używana w różnych zadaniach przetwarzania języka naturalnego, takich jak tłumaczenie maszynowe, podsumowanie tekstu, generowanie tekstu i inne.
• Ocena oparta na klasyfikacji: ocena oparta na klasyfikacji ocenia wydajność modelu, przypisując odpowiedzi do wstępnie zdefiniowanych kategorii lub etykiet lub porównując dane wyjściowe modelu z zestawem referencyjnych poprawnych odpowiedzi. Automatyczne ocenianie, analiza tonacji i kategoryzacja produktów należą do niektórych typowych przypadków użycia.
• Ocena jakości konwersacji: ocena jakości konwersacji obejmuje porównywanie odpowiedzi ze wstępnie zdefiniowanymi kryteriami przy użyciu szczegółowej instrukcji myślenia (CoT). Typowe przypadki użycia to między innymi obsługa klienta, programowanie czatbotów i oceny edukacyjne.
• Ocena oparta na kryteriach: Jednym z typowych scenariuszy oceny opartej na kryteriach jest faktowość. Ocena dokładności faktów polega na porównaniu przesłanej odpowiedzi na odpowiedź eksperta, koncentrując się wyłącznie na treści faktycznej. Może to być przydatne w narzędziach edukacyjnych, aby zwiększyć dokładność odpowiedzi dostarczonych przez modele językowe LLM lub w narzędziach pomocy badawczej w celu oceny faktycznej dokładności odpowiedzi generowanych przez modele językowe LLM w środowiskach akademickich.
• Ocena ważności ciągu: jednym z typowych scenariuszy jest sprawdzenie, czy odpowiedź modelu jest zgodna z określonym schematem lub prawidłową zawartością JSON lub XML.

Przypadki użycia komputera (wersja zapoznawcza)

Możliwości użycia komputera najlepiej nadają się do tworzenia systemów agentowych sztucznej inteligencji, które mogą autonomicznie współdziałać z graficznymi interfejsami użytkownika. Konkretne przypadki użycia mogą obejmować:

• Automatyczna nawigacja i interakcja internetowa: autonomiczne poruszanie się po interfejsach opartych na sieci w celu pozyskiwania i prezentowania informacji z zaufanych źródeł, takich jak wewnętrzne zasoby firmy lub ustrukturyzowane bazy danych. Model jest zgodny ze wstępnie zdefiniowanymi regułami nawigacji w celu wyodrębnienia odpowiednich danych przy jednoczesnym zapewnieniu zgodności z zasadami zabezpieczeń.

• Web-Based Automatyzacja zadań: Automatyzowanie powtarzających się zadań internetowych, takich jak wypełnianie formularzy, przesyłanie danych lub interakcja z aplikacjami internetowymi. Komputer może klikać przyciski, wprowadzać tekst i przetwarzać dane ustrukturyzowane, ale działa tylko w autoryzowanych przepływach pracy i domenach.

• Wyodrębnianie danych ze strukturą i bez struktury: wyodrębnianie odpowiednich danych ze źródeł ustrukturyzowanych, takich jak tabele i arkusze kalkulacyjne, a także źródła bez struktury, takie jak pliki PDF, zeskanowane dokumenty lub wiadomości e-mail. Ta funkcja jest przydatna w przypadku zadań takich jak przetwarzanie danych finansowych, analiza kontraktów lub kategoryzacja zgłoszeń do działu obsługi klienta.

• Automatyczne wypełnianie formularzy i wprowadzanie danych: wyodrębnianie informacji ze ustrukturyzowanych baz danych lub danych wejściowych użytkownika i używanie ich do wypełniania formularzy internetowych. Jest to przydatne w przypadku automatyzowania żądań obsługi klienta, procesów KADR lub aktualizacji CRM przy jednoczesnym zapewnieniu dokładności i spójności w obsłudze danych.

• Web-Based Analiza obrazów: analizowanie obrazów znalezionych na stronach internetowych w celu wykrywania i tagowania obiektów, scen lub odpowiednich wzorców. Korzystanie z komputera umożliwia wyodrębnianie informacji wizualnych do obsługi aplikacji, takich jak zarządzanie spisem, przetwarzanie dokumentów lub klasyfikacja obiektów.

• Interaktywne wyszukiwanie wizualne i identyfikacja: ułatwianie użytkownikom lokalizowania odpowiedniej zawartości wizualnej za pomocą wyszukiwania strukturalnego. Na przykład użycie komputera może identyfikować produkty w katalogu handlu elektronicznego, rozpoznawać punkty orientacyjne w aplikacjach podróży lub pobierać określone obrazy z archiwów cyfrowych na podstawie wstępnie zdefiniowanych kryteriów.

• Automatyczne sprawdzanie zgodności i zasad: skanowanie zawartości internetowej, takiej jak przekazane pliki, kontrakty lub wewnętrzna dokumentacja w celu zapewnienia zgodności ze wstępnie zdefiniowanymi regułami zgodności. Użycie komputera może oznaczać brakujące informacje, niespójności lub potencjalne naruszenia, aby pomóc w wymuszaniu standardów regulacyjnych w organizacji.

• Automatyczne wykonywanie przepływu pracy dla aplikacji biznesowych: definiowanie wieloetapowych przepływów pracy na potrzeby nawigowania po aplikacjach dla przedsiębiorstw, takich jak generowanie raportów, aktualizowanie rekordów lub pobieranie analiz. Użycie komputera jest zgodne ze wstępnie zdefiniowanymi krokami w narzędziach biznesowych i jest zgodne z zasadami kontroli dostępu w celu zapewnienia bezpiecznego wykonywania.

Zagadnienia dotyczące wybierania przypadku użycia

Zachęcamy klientów do korzystania z modeli Azure OpenAI GPT-4, o-series, GPT-3, Codex i Computer Use w innowacyjnych rozwiązaniach lub aplikacjach zatwierdzonych w formularzu rejestracji z ograniczonym dostępem. Poniżej przedstawiono jednak niektóre zagadnienia dotyczące wybierania przypadku użycia:

• Nie nadaje się do generowania nieograniczonej i nieskrępowanej treści. Scenariusze, w których użytkownicy mogą generować zawartość w dowolnym temacie, są bardziej skłonne do tworzenia obraźliwego lub szkodliwego tekstu. To samo dotyczy dłuższych pokoleń.
• Nie nadaje się do scenariuszy, w których up-to- data, dokładne informacje faktyczne są kluczowe, chyba że masz recenzentów ludzkich lub używasz modeli do wyszukiwania własnych dokumentów i zweryfikowałeś ich odpowiedniość do kontekstu scenariusza. Usługa nie ma informacji o zdarzeniach występujących po dacie szkolenia, prawdopodobnie nie ma wiedzy na temat niektórych tematów i nie zawsze może zawierać dokładne informacje.
• Unikaj scenariuszy, w których użycie lub niewłaściwe użycie systemu może spowodować znaczne uszkodzenie fizyczne lub psychiczne osoby. Na przykład scenariusze, które diagnozują pacjentów lub przepisują leki, mogą spowodować znaczną szkodę. Włączenie znaczącego przeglądu ludzkiego i nadzoru do scenariusza może pomóc zmniejszyć ryzyko szkodliwych wyników.
• Unikaj scenariuszy, w których użycie lub niewłaściwe użycie systemu może mieć wpływ na możliwości życia lub status prawny. Przykłady obejmują scenariusze, w których system sztucznej inteligencji może wpływać na stan prawny, prawa lub dostęp do kredytów, edukacji, zatrudnienia, opieki zdrowotnej, mieszkalnictwa, ubezpieczeń, świadczeń socjalnych, usług, możliwości lub warunków, na których są one udostępniane. Włączenie znaczącego przeglądu ludzkiego i nadzoru do scenariusza może pomóc zmniejszyć ryzyko szkodliwych wyników.
• Unikaj scenariuszy o wysokich stawkach, które mogą prowadzić do szkody. Modele hostowane przez usługę Azure OpenAI odzwierciedlają pewne poglądy społeczne, uprzedzenia i inne niepożądane treści obecne w danych treningowych lub przykłady podane w wierszu polecenia. W związku z tym ostrzegamy przed używaniem modeli w scenariuszach o wysokich stawkach, w których niesprawiedliwe, zawodne lub obraźliwe zachowanie może być niezwykle kosztowne lub prowadzić do szkody. Włączenie znaczącego przeglądu ludzkiego i nadzoru do scenariusza może pomóc zmniejszyć ryzyko szkodliwych wyników.
• Starannie rozważ przypadki użycia w domenach o wysokich stawkach lub w branży: Przykłady obejmują, ale nie są ograniczone do opieki zdrowotnej, medycyny, finansów lub prawa.
• Starannie rozważ dobrze zdefiniowane scenariusze czatbota. Ograniczenie korzystania z usługi w czatbotach do wąskiej domeny zmniejsza ryzyko generowania niezamierzonych lub niepożądanych odpowiedzi.
• Dokładnie rozważ wszystkie przypadki użycia generatywnego. Scenariusze generowania zawartości mogą częściej tworzyć niezamierzone dane wyjściowe, a scenariusze te wymagają starannego rozważenia i ograniczenia ryzyka.
• Zagadnienia prawne i prawne: Organizacje muszą ocenić potencjalne konkretne zobowiązania prawne i prawne w przypadku korzystania z narzędzi i rozwiązań usługi Foundry, które mogą nie być odpowiednie do użycia w każdej branży lub scenariuszu. Ponadto narzędzia lub rozwiązania Foundry nie są przeznaczone do użytku i nie mogą być używane w sposób zabroniony zgodnie z obowiązującymi warunkami korzystania z usługi ani w obowiązujących kodeksach postępowania.

Podczas wybierania przypadku użycia komputera użytkownicy powinni uwzględnić następujące zagadnienia oprócz wymienionych powyżej:

• Unikaj scenariuszy, w których akcje są nieodwracalne lub bardzo wtórne: obejmują one, ale nie są ograniczone, możliwość wysyłania wiadomości e-mail (na przykład do niewłaściwego adresata), możliwość modyfikowania lub usuwania plików, które są ważne dla Ciebie, możliwość dokonywania transakcji finansowych lub bezpośredniej interakcji z usługami zewnętrznymi, udostępniania poufnych informacji publicznie, udzielania dostępu do krytycznych systemów, lub wykonując polecenia, które mogą zmienić funkcje systemu lub zabezpieczenia.
• Obniżenie wydajności zaawansowanych zastosowań: Użycie komputera najlepiej nadaje się do wykonywania zadań za pomocą interfejsów GUI, takich jak uzyskiwanie dostępu do witryn internetowych i komputerów stacjonarnych. Może nie wykonywać bardziej zaawansowanych zadań, takich jak edytowanie kodu, pisanie obszernego tekstu i podejmowanie złożonych decyzji.
• Zapewnienie odpowiedniego nadzoru i kontroli człowieka. Rozważ uwzględnienie mechanizmów kontrolnych ułatwiających użytkownikom weryfikowanie, przeglądanie i/lub zatwierdzanie działań w odpowiednim czasie, które mogą obejmować przeglądanie planowanych zadań lub wywołań do zewnętrznych źródeł danych, w zależności od wymagań systemu. Rozważ uwzględnienie mechanizmów kontroli w celu odpowiedniego korygowania awarii systemu, szczególnie w scenariuszach wysokiego ryzyka i przypadkach użycia.
• Jasno zdefiniuj akcje i skojarzone wymagania. Jasne określenie, które działania są dozwolone (granice akcji), zabronione lub wymagają wyraźnej autoryzacji może pomóc w obsłudze korzystania z komputera zgodnie z oczekiwaniami i z odpowiednim poziomem nadzoru człowieka.
• Jasno zdefiniuj zamierzone środowiska operacyjne. Jasno zdefiniuj zamierzone środowiska operacyjne (granice domeny), w których korzystanie z komputera jest przeznaczone do efektywnego działania.
• Zapewnij odpowiednią zrozumiałość w podejmowaniu decyzji. Udostępnianie użytkownikom informacji przed, podczas i po podjęciu akcji może pomóc im zrozumieć uzasadnienie działania lub dlaczego niektóre działania zostały podjęte lub aplikacja zachowuje się w określony sposób, gdzie interweniować i jak rozwiązywać problemy.
• Aby uzyskać więcej informacji, zapoznaj się z przewodnikiem Wspieranie odpowiedniego polegania na generowaniu sztucznej inteligencji.

Podczas wybierania przypadku użycia do głębokich badań użytkownicy powinni uwzględnić następujące zagadnienia oprócz wymienionych powyżej:

• Zapewnienie odpowiedniego nadzoru i kontroli człowieka: zapewnij mechanizmy, aby zapewnić użytkownikom przeglądanie szczegółowych raportów badawczych i weryfikowanie cytowanych źródeł i zawartości.
• Sprawdź cytaty pod kątem treści chronionych prawami autorskimi: Narzędzie do badań głębokich przeprowadza wyszukiwanie w Internecie podczas przygotowywania odpowiedzi, a materiały chronione prawem autorskim mogą być cytowane. Sprawdź cytaty źródłowe zawarte w raporcie i upewnij się, że używasz odpowiednich materiałów chronionych prawami autorskimi i atrybutów.

Zamierzone przypadki użycia

DALL· E i GPT-image-1 w usłudze Azure OpenAI

Interfejsy API DALL·E i GPT-image-1 w usłudze Azure OpenAI mogą być używane do różnych scenariuszy generowania obrazów. Poniższa lista nie jest kompleksowa, ale ilustruje różnorodność zadań, które mogą być obsługiwane przy użyciu odpowiednich środków zaradczych.

• Funkcje ułatwień dostępu: Służy do generowania opisów wizualizacji opartych na obrazach.
• Sztuka i projektowanie: Służy do generowania obrazów, tylko do celów artystycznych, do projektów, inspiracji artystycznej, tablic nastrojowych lub układów projektowych.
• Komunikacja: Służy do tworzenia obrazów dla komunikacji związanej z biznesem, dokumentacji, esejów, biuletynów, wpisów w blogu, mediów społecznościowych lub notatek.
• Edukacja: Służy do tworzenia obrazów dla rozszerzonych lub interaktywnych materiałów szkoleniowych do użytku w instytucjach edukacyjnych lub do szkolenia zawodowego.
• Rozrywka: Służy do tworzenia obrazów w celu ulepszania zawartości rozrywkowej, takiej jak gry wideo, filmy, tv, filmy, nagrana muzyka, podcasty, audiobooki lub rzeczywistość wirtualna.
• Treści dziennikarskie: Służy do tworzenia obrazów w celu ulepszania treści dziennikarskich.
• Marketing: Służy do tworzenia materiałów marketingowych dla produktów lub mediów usług, instrukcji dotyczących produktów, promocji biznesowej lub reklam. Nie należy używać do tworzenia reklam spersonalizowanych lub przeznaczonych dla użytkowników indywidualnych.
• Tworzenie prototypów i tworzenie koncepcji: Służy do generowania obrazów na potrzeby ideacji lub wizualizacji produktów lub usług. To użycie ma zastosowanie tylko w kontekście powyższych scenariuszy.

GPT-4 Turbo z funkcją Vision i GPT-4o w Azure OpenAI

• Interakcja z czatem i konwersacją: użytkownicy mogą korzystać z agenta konwersacyjnego, który odpowiada na informacje pochodzące z zaufanej dokumentacji, takiej jak wewnętrzna dokumentacja firmy lub dokumentacja techniczna. Konwersacje muszą być ograniczone do odpowiadania na pytania o określonym zakresie.
• Tworzenie czatbota i agenta konwersacyjnego: użytkownicy mogą tworzyć agentów konwersacyjnych, którzy reagują przy użyciu informacji pochodzących z zaufanych dokumentów, takich jak wewnętrzna dokumentacja firmy lub dokumenty pomocy technicznej. Na przykład diagramy, wykresy i inne istotne obrazy z dokumentacji technicznej mogą poprawić zrozumienie i zapewnić dokładniejsze odpowiedzi. Konwersacje muszą być ograniczone do odpowiadania na pytania o określonym zakresie.
• Scenariusze generowania lub przekształcania kodu: konwersja jednego języka programowania na inny lub umożliwienie użytkownikom generowania kodu przy użyciu języka naturalnego lub wizualnych danych wejściowych. Na przykład użytkownicy mogą zrobić zdjęcie odręcznego pseudokodu lub diagramów ilustrujących koncepcję kodowania i użyć aplikacji do wygenerowania kodu na podstawie tego materiału.
• Przyczyna dotycząca danych ze strukturą i bez struktury: użytkownicy mogą analizować dane wejściowe przy użyciu klasyfikacji, analizy tonacji tekstu lub wyodrębniania jednostek. Użytkownicy mogą udostępnić obraz wraz z zapytaniem tekstowym do analizy.
• Podsumowanie: użytkownicy mogą przesyłać zawartość do podsumowania dla wstępnie zdefiniowanych tematów wbudowanych w aplikację i nie mogą używać aplikacji jako otwartego podsumowania. Przykłady obejmują podsumowanie wewnętrznej dokumentacji firmy, transkrypcji centrum telefonicznego, raportów technicznych i przeglądów produktów.
• Pomoc w pisaniu na określone tematy: Użytkownicy mogą tworzyć nową treść lub przekształcać treść przesłaną przez nich jako pomoc w pisaniu treści biznesowych lub na z góry określone tematy. Użytkownicy mogą ponownie pisać lub tworzyć zawartość tylko dla określonych celów biznesowych lub wstępnie zdefiniowanych tematów i nie mogą używać aplikacji jako narzędzia do tworzenia zawartości ogólnej dla wszystkich tematów. Przykłady zawartości biznesowej obejmują propozycje i raporty.
• Tagowanie obrazów: użytkownicy mogą wykrywać i oznaczać elementy wizualne, w tym obiekty, żywe istoty, sceneria i akcje na obrazie. Usługa nie jest przeznaczona i nie może być używana do identyfikowania osób lub weryfikowania poszczególnych tożsamości.
• Podpisy obrazów: użytkownicy mogą generować opisowe podpisy języka naturalnego dla wizualizacji. Poza prostymi opisami aplikacja może identyfikować i udostępniać tekstowe szczegółowe informacje o konkretnych tematach lub punktach orientacyjnych na zdjęciach. Jeśli pokazano obraz Wieży Eiffla, system może zaoferować zwięzły opis lub podkreślić intrygujące fakty o pomniku. Usługa może nie być używana do identyfikowania lub weryfikowania poszczególnych tożsamości.
• Wykrywanie obiektów: służy do identyfikowania położenia pojedynczych lub wielu obiektów na obrazie przez podanie określonych współrzędnych. Na przykład na obrazie, który ma rozproszone jabłka, aplikacja może zidentyfikować i wskazać lokalizację każdego jabłka. Za pomocą tej aplikacji użytkownicy mogą uzyskiwać szczegółowe informacje przestrzenne dotyczące obiektów przechwyconych na obrazach. Usługa może nie być używana do identyfikowania lub weryfikowania poszczególnych tożsamości.
• Wizualne odpowiadanie na pytania: Użytkownicy mogą zadawać pytania dotyczące obrazu i odbierać kontekstowo odpowiednie odpowiedzi. Na przykład, gdy pokazano zdjęcie ptaka, użytkownicy mogą zapytać: "Jaki jest ten typ ptaka?" i otrzymać odpowiedź na przykład "To europejski robin". Aplikacja może identyfikować i interpretować kontekst w obrazach, aby odpowiedzieć na zapytania. Jeśli na przykład zostanie wyświetlony obraz zatłoczonej platformy handlowej, użytkownicy mogą zapytać: "Ilu osób ma na sobie kapelusze?" lub "Jaki owoc jest sprzedawany przez dostawcę?", a aplikacja może podać odpowiedzi. System nie powinien służyć do odpowiadania na pytania dotyczące osób.
• Rozpoznawanie marki i punktów orientacyjnych: aplikacja może służyć do identyfikowania marek komercyjnych i popularnych punktów orientacyjnych na obrazach lub filmach wideo z wstępnie ustawionej bazy danych tysięcy globalnych logo i charakterystycznych elementów krajobrazu.

Przypadki użycia komputera (wersja zapoznawcza)

Możliwości użycia komputera najlepiej nadają się do tworzenia systemów agentowych sztucznej inteligencji, które mogą autonomicznie współdziałać z graficznymi interfejsami użytkownika. Konkretne przypadki użycia mogą obejmować:

• Automatyczna nawigacja i interakcja internetowa: autonomiczne poruszanie się po interfejsach opartych na sieci w celu pozyskiwania i prezentowania informacji z zaufanych źródeł, takich jak wewnętrzne zasoby firmy lub ustrukturyzowane bazy danych. Model jest zgodny ze wstępnie zdefiniowanymi regułami nawigacji w celu wyodrębnienia odpowiednich danych przy jednoczesnym zapewnieniu zgodności z zasadami zabezpieczeń.

• Web-Based Automatyzacja zadań: Automatyzowanie powtarzających się zadań internetowych, takich jak wypełnianie formularzy, przesyłanie danych lub interakcja z aplikacjami internetowymi. Komputer może klikać przyciski, wprowadzać tekst i przetwarzać dane ustrukturyzowane, ale działa tylko w autoryzowanych przepływach pracy i domenach.

• Wyodrębnianie danych ze strukturą i bez struktury: wyodrębnianie odpowiednich danych ze źródeł ustrukturyzowanych, takich jak tabele i arkusze kalkulacyjne, a także źródła bez struktury, takie jak pliki PDF, zeskanowane dokumenty lub wiadomości e-mail. Ta funkcja jest przydatna w przypadku zadań takich jak przetwarzanie danych finansowych, analiza kontraktów lub kategoryzacja zgłoszeń do działu obsługi klienta.

• Automatyczne wypełnianie formularzy i wprowadzanie danych: wyodrębnianie informacji ze ustrukturyzowanych baz danych lub danych wejściowych użytkownika i używanie ich do wypełniania formularzy internetowych. Jest to przydatne w przypadku automatyzowania żądań obsługi klienta, procesów KADR lub aktualizacji CRM przy jednoczesnym zapewnieniu dokładności i spójności w obsłudze danych.

• Web-Based Analiza obrazów: analizowanie obrazów znalezionych na stronach internetowych w celu wykrywania i tagowania obiektów, scen lub odpowiednich wzorców. Korzystanie z komputera umożliwia wyodrębnianie informacji wizualnych do obsługi aplikacji, takich jak zarządzanie spisem, przetwarzanie dokumentów lub klasyfikacja obiektów.

• Interaktywne wyszukiwanie wizualne i identyfikacja: ułatwianie użytkownikom lokalizowania odpowiedniej zawartości wizualnej za pomocą wyszukiwania strukturalnego. Na przykład użycie komputera może identyfikować produkty w katalogu handlu elektronicznego, rozpoznawać punkty orientacyjne w aplikacjach podróży lub pobierać określone obrazy z archiwów cyfrowych na podstawie wstępnie zdefiniowanych kryteriów.

• Automatyczne sprawdzanie zgodności i zasad: skanowanie zawartości internetowej, takiej jak przekazane pliki, kontrakty lub wewnętrzna dokumentacja w celu zapewnienia zgodności ze wstępnie zdefiniowanymi regułami zgodności. Użycie komputera może oznaczać brakujące informacje, niespójności lub potencjalne naruszenia, aby pomóc w wymuszaniu standardów regulacyjnych w organizacji.

• Automatyczne wykonywanie przepływu pracy dla aplikacji biznesowych: definiowanie wieloetapowych przepływów pracy na potrzeby nawigowania po aplikacjach dla przedsiębiorstw, takich jak generowanie raportów, aktualizowanie rekordów lub pobieranie analiz. Użycie komputera jest zgodne ze wstępnie zdefiniowanymi krokami w narzędziach biznesowych i jest zgodne z zasadami kontroli dostępu w celu zapewnienia bezpiecznego wykonywania.

Zagadnienia dotyczące wybierania przypadku użycia

Zachęcamy klientów do korzystania z modeli Azure OpenAI DALL·E 2, DALL·E 3, GPT-4 Turbo z Vision, GPT-4o i Computer Use w swoich innowacyjnych rozwiązaniach lub aplikacjach, zgodnie z zatwierdzeniem w formularzu rejestracyjnym o ograniczonym dostępie. Poniżej przedstawiono jednak niektóre zagadnienia dotyczące wybierania przypadku użycia:

• Nie należy używać do śledzenia lub rozpoznawania twarzy, identyfikacji ani weryfikacji. Przykłady obejmują używanie modeli do nadzoru osób fizycznych i używanie modeli do sprawdzania, czy dwie osoby na zdjęciu w dwóch oddzielnych lokalizacjach są tą samą osobą.
• Nie nadaje się do scenariuszy, w których up-to- data, dokładne informacje faktyczne są kluczowe, chyba że masz recenzentów ludzkich lub używasz modeli do wyszukiwania własnych dokumentów i zweryfikowałeś ich odpowiedniość do kontekstu scenariusza. Usługa nie zawiera informacji o zdarzeniach występujących po dacie szkolenia, prawdopodobnie nie ma wiedzy na temat niektórych tematów i może nie zawsze tworzyć dokładne informacje.
• Unikaj scenariuszy, w których użycie lub niewłaściwe użycie systemu może mieć wpływ na możliwości życia lub status prawny. Przykłady obejmują scenariusze, w których system sztucznej inteligencji może mieć wpływ na status prawny osoby fizycznej, prawa prawne lub ich dostęp do kredytów, edukacji, zatrudnienia, opieki zdrowotnej, mieszkalnictwa, ubezpieczenia, świadczeń socjalnych, usług, możliwości lub warunków, na których te prawa i usługi są dostępne.
• Unikaj scenariuszy o wysokich stawkach, mogących prowadzić do szkody. Modele hostowane przez usługę Azure OpenAI Mogą odzwierciedlać pewne poglądy społeczne, uprzedzenia i inne niepożądane treści obecne w danych treningowych lub w przykładach podanych w wierszu polecenia. W związku z tym ostrzegamy przed używaniem modeli w scenariuszach o wysokich stawkach, w których niesprawiedliwe, zawodne lub obraźliwe zachowanie może być niezwykle kosztowne lub prowadzić do szkody.
• Unikaj scenariuszy, w których użycie lub niewłaściwe użycie systemu może rozpowszechniać fałszywe narracje dotyczące poufnych tematów lub osób. Przykłady obejmują tworzenie i dystrybucję syntetycznych mediów typu deepfake, dezinformacji o szczególnie wrażliwych wydarzeniach oraz generowanie fotorealistycznych obrazów prawdziwych ludzi w okolicznościach, które ukazują fałszywą narrację.
• Starannie rozważ scenariusze, w których dozwolone jest otwarte generowanie treści bez ograniczeń. Scenariusze, w których użytkownicy mogą generować zawartość w dowolnym temacie, są bardziej skłonne do tworzenia obraźliwej, szkodliwej lub wprowadzającej w błąd zawartości.
• Starannie rozważ scenariusze, które obejmują generowanie mediów w stylu znanych artystów z opublikowanymi dziełami. Na przykład mogą istnieć scenariusze, w których użytkownicy rozpowszechniają wygenerowaną zawartość w stylu artysty, który utrzymuje prawa własności intelektualnej (IP) w oryginalnej sztuce. Takie przypadki mogą mieć konsekwencje prawne lub konsekwencje dla możliwości artystów. Rozważ utworzenie procesu dla artystów, aby ograniczyć tworzenie obrazów skojarzonych z ich nazwami w produkcie lub usłudze.
• Starannie rozważ scenariusze obejmujące generowanie obrazów zawierających prawdziwe osoby. Zawartość zawierająca obrazy prawdziwych ludzi może być nadużywana w sposób, który negatywnie wpływa na możliwości życia lub status prawny, a także postrzeganie publiczne i zaufanie. Zachowaj ostrożność podczas generowania obrazów prawdziwych ludzi, żyjących lub zmarłych lub podobnych podobieństw.
• Starannie rozważ wszystkie przypadki użycia w domenach o wysokim stawkach lub branży: Przykłady obejmują, ale nie są ograniczone do opieki zdrowotnej, edukacji, finansów i przepisów prawnych.
• Zagadnienia prawne i prawne: Organizacje muszą ocenić potencjalne konkretne zobowiązania prawne i prawne w przypadku korzystania z narzędzi i rozwiązań usługi Foundry, które mogą nie być odpowiednie do użycia w każdej branży lub scenariuszu. Ponadto narzędzia lub rozwiązania Foundry nie są przeznaczone do użytku i nie mogą być używane w sposób zabroniony zgodnie z obowiązującymi warunkami korzystania z usługi ani w obowiązujących kodeksach postępowania.

Podczas wybierania przypadku użycia komputera użytkownicy powinni uwzględnić następujące zagadnienia oprócz wymienionych powyżej:

• Unikaj scenariuszy, w których akcje są nieodwracalne lub bardzo wtórne: obejmują one, ale nie są ograniczone, możliwość wysyłania wiadomości e-mail (na przykład do niewłaściwego adresata), możliwość modyfikowania lub usuwania plików, które są ważne dla Ciebie, możliwość dokonywania transakcji finansowych lub bezpośredniej interakcji z usługami zewnętrznymi, udostępniania poufnych informacji publicznie, udzielania dostępu do krytycznych systemów, lub wykonując polecenia, które mogą zmienić funkcje systemu lub zabezpieczenia.

• Obniżenie wydajności zaawansowanych zastosowań: Użycie komputera najlepiej nadaje się do wykonywania zadań za pomocą interfejsów GUI, takich jak uzyskiwanie dostępu do witryn internetowych i komputerów stacjonarnych. Może nie wykonywać bardziej zaawansowanych zadań, takich jak edytowanie kodu, pisanie obszernego tekstu i podejmowanie złożonych decyzji.

• Zapewnienie odpowiedniego nadzoru i kontroli człowieka. Rozważ uwzględnienie mechanizmów kontrolnych ułatwiających użytkownikom weryfikowanie, przeglądanie i/lub zatwierdzanie działań w odpowiednim czasie, które mogą obejmować przeglądanie planowanych zadań lub wywołań do zewnętrznych źródeł danych, w zależności od wymagań systemu. Rozważ uwzględnienie mechanizmów kontroli w celu odpowiedniego korygowania awarii systemu, szczególnie w scenariuszach wysokiego ryzyka i przypadkach użycia.

• Jasno zdefiniuj akcje i skojarzone wymagania. Jasne określenie, które działania są dozwolone (granice akcji), zabronione lub wymagają wyraźnej autoryzacji może pomóc w obsłudze korzystania z komputera zgodnie z oczekiwaniami i z odpowiednim poziomem nadzoru człowieka.

• Jasno zdefiniuj zamierzone środowiska operacyjne. Jasno zdefiniuj zamierzone środowiska operacyjne (granice domeny), w których korzystanie z komputera jest przeznaczone do efektywnego działania.

• Zapewnij odpowiednią zrozumiałość w podejmowaniu decyzji. Udostępnianie użytkownikom informacji przed, podczas i po podjęciu akcji może pomóc im zrozumieć uzasadnienie działania lub dlaczego niektóre działania zostały podjęte lub aplikacja zachowuje się w określony sposób, gdzie interweniować i jak rozwiązywać problemy.

Zamierzone zastosowania

Model gpt-4o-realtime-preview może służyć do różnych zadań przetwarzania języka naturalnego w podobny sposób do istniejących modeli GPT. Jednak ten model dotyczy przypadków użycia mowy i dźwięku. Przykłady zadań, które obsługuje ten model, obejmują, ale nie są ograniczone do następujących:

• Tworzenie i interakcja czatu głosowego: użytkownicy mogą tworzyć czaty głosowe za pomocą agenta konwersacyjnego, który odpowiada za pomocą funkcji głosowych.
• Tłumaczenie językowe: użytkownicy mogą tłumaczyć języki podczas konwersacji w czasie rzeczywistym. Wspieranie napisów może odbywać się za pomocą transkrypcji audio w czasie rzeczywistym zarówno z danymi wejściowymi, jak i wyjściowymi. Obsługa języka jest zgodna z istniejącymi wersjami modelu gpt-4o.
• Odpowiadanie na pytania: Użytkownicy mogą zadawać pisemne i/lub mówione pytania i otrzymywać odpowiedzi mówione z modelu.
• Generowanie zawartości: użytkownicy mogą tworzyć nową zawartość audio na podstawie danych wejściowych zdefiniowanych przez użytkownika. Model sprawdzi i zapobiegnie tworzeniu chronionych praw autorskich materiałów lub personifikacji głosów.

Aby uzyskać więcej informacji na temat możliwości modelu 4o, zobacz kartę systemowa OpenAI 4o.

Model Whisper w usłudze Azure OpenAI może być używany do różnych zadań rozpoznawania mowy i tłumaczenia mowy. Poniższa lista nie jest kompleksowa, ale ilustruje różnorodność zadań, które mogą być obsługiwane przy użyciu odpowiednich środków zaradczych.

• Dyktando: Użytkownicy mogą transkrybować słowa mówione w postaci plików audio do tekstu. Na przykład użytkownik może użyć usługi do transkrypcji nagrań z centrum telefonicznego do raportów.
• Napisy lub transkrypcja: Użytkownicy mogą transkrybować pliki audio do tekstu w celu zrozumienia języka naturalnego lub zadań analitycznych, takich jak podsumowywanie i analiza sentymentu. Przykłady obejmują mowę jako dane wejściowe w systemach dialogowych, co sprawia, że zawartość audio jest bardziej dostępna, lub tworzy tłumaczenie tekstu do przeanalizowania.
• Tłumaczenie: Użytkownicy mogą tłumaczyć wielojęzyczne pliki audio na angielski. Może to być szczególnie atrakcyjne w scenariuszach wielojęzycznych.

Zagadnienia dotyczące wybierania przypadku użycia

Zachęcamy klientów do korzystania z modeli gpt-4o-realtime-preview oraz modeli Whisper dostępnych w usłudze Azure OpenAI, w swoich innowacyjnych rozwiązaniach lub aplikacjach. Poniżej przedstawiono kilka zagadnień dotyczących wybierania przypadku użycia:

• Unikaj scenariuszy, w których użycie lub niewłaściwe użycie systemu może mieć wpływ na możliwości życia lub stan prawny. Przykłady obejmują scenariusze, w których system sztucznej inteligencji może mieć wpływ na status prawny osoby fizycznej, prawa prawne lub ich dostęp do kredytów, edukacji, zatrudnienia, opieki zdrowotnej, mieszkalnictwa, ubezpieczenia, świadczeń socjalnych, usług, możliwości lub warunków, na których te elementy są dostępne.
• Należy dokładnie rozważyć wszystkie zastosowania w branżach o dużym ryzyku: Przykłady obejmują, ale nie są ograniczone do ochrony zdrowia, edukacji, finansów i prawa.
• Szept w usłudze Azure Speech: Model OpenAI Whisper jest również dostępny w usługach Azure Speech, ulepszając wrażenia użytkownika dzięki zaawansowanym funkcjom, takim jak rozpoznawanie wielojęzyczne i przejrzystość. W zależności od scenariusza możesz eksplorować usługi Azure Speech i dodatkowe możliwości usługi, takie jak diarization, dostosowywanie lub przetwarzanie wielu plików audio na żądanie.
• Zagadnienia prawne i prawne: Organizacje muszą ocenić potencjalne konkretne zobowiązania prawne i prawne w przypadku korzystania z narzędzi i rozwiązań usługi Foundry, które mogą nie być odpowiednie do użycia w każdej branży lub scenariuszu. Ponadto narzędzia lub rozwiązania Foundry nie są przeznaczone do użytku i nie mogą być używane w sposób zabroniony zgodnie z obowiązującymi warunkami korzystania z usługi ani w obowiązujących kodeksach postępowania.

• Pokaż i powiedz podczas projektowania promptów. Dzięki modelom języka naturalnego i modelom mowy wyjaśnij modelowi, jakiego rodzaju dane wyjściowe można oczekiwać za pomocą instrukcji, przykładów lub kombinacji tych dwóch. Jeśli chcesz, aby model sklasyfikował listę elementów w kolejności alfabetycznej lub sklasyfikować akapit według tonacji, pokaż model, który jest odpowiedni.
• Zachowaj aplikację w temacie. Starannie struktury monitów i danych wejściowych obrazów, aby zmniejszyć prawdopodobieństwo tworzenia niepożądanej zawartości, nawet jeśli użytkownik spróbuje jej użyć do tego celu. Na przykład możesz wskazać w wierszu polecenia, że czatbot angażuje się tylko w rozmowy na temat matematyki i w przeciwnym razie odpowiada "Przykro mi. Obawiam się, że nie mogę odpowiedzieć na to. Dodanie przymiotników, takich jak "uprzejmy" oraz przykładów w pożądanym tonie do polecenia może również pomóc w kierowaniu wynikami.
• Podaj dane dotyczące jakości. W przypadku modeli tekstu i kodu, jeśli próbujesz utworzyć klasyfikator lub pobrać model do naśladowania wzorca, upewnij się, że istnieje wystarczająca liczba przykładów. Pamiętaj, aby sprawdzić przykłady — model jest zwykle w stanie przetwarzać podstawowe błędy pisowni i udzielać odpowiedzi, ale może również zakładać, że błędy są zamierzone, co może mieć wpływ na odpowiedź. Zapewnienie jakości danych obejmuje również dostarczenie modelowi niezawodnych danych do generowania odpowiedzi w systemach czatu i odpowiadania na pytania.
• Podaj zaufane dane. Pobieranie lub przekazywanie niezaufanych danych do systemów może naruszyć bezpieczeństwo systemów lub aplikacji. Aby ograniczyć te zagrożenia w odpowiednich aplikacjach (w tym w aplikacjach korzystających z interfejsu API Asystentów), zalecamy rejestrowanie i monitorowanie interakcji LLM (danych wejściowych/wyjściowych) w celu wykrywania i analizowania potencjalnych wstrzyknięć monitów, wyraźne określenie danych wejściowych użytkownika w celu zminimalizowania ryzyka wstrzyknięcia monitu, ograniczenie dostępu LLM do poufnych zasobów, ograniczenie jego możliwości do minimum wymaganego oraz odizolowanie go od krytycznych systemów i zasobów. Dowiedz się więcej o dodatkowych podejściach zaradczych w temacie Wskazówki dotyczące zabezpieczeń dla dużych modeli językowych | Microsoft Learn.
• Skonfiguruj parametry w celu zwiększenia dokładności lub uziemienia odpowiedzi. Rozszerzanie monitów przy użyciu danych pobranych z zaufanych źródeł, na przykład poprzez użycie funkcji "na Twoich danych" usługi Azure OpenAI, może zmniejszyć, ale nie wyeliminować całkowicie, prawdopodobieństwo wygenerowania niedokładnych odpowiedzi lub fałszywych informacji. Kroki, które można wykonać, aby jeszcze bardziej poprawić dokładność odpowiedzi, obejmują dokładne wybranie zaufanego i odpowiedniego źródła danych oraz skonfigurowanie niestandardowych parametrów, takich jak "ścisłość", "ograniczanie odpowiedzi na zawartość danych" i "liczba pobranych dokumentów do uwzględnienia" odpowiednio do przypadków użycia lub scenariuszy. Dowiedz się więcej na temat konfigurowania tych ustawień dla usługi Azure OpenAI w danych.
• Ogranicz długość, strukturę i szybkość danych wejściowych i wyjściowych. Ograniczenie długości lub struktury danych wejściowych i wyjściowych może zwiększyć prawdopodobieństwo, że aplikacja pozostanie w zadaniu i ograniczy, przynajmniej częściowo, wszelkie potencjalnie niesprawiedliwe, zawodne lub obraźliwe zachowanie. Inne opcje zmniejszenia ryzyka nieprawidłowego użycia obejmują (i) ograniczenie źródła danych wejściowych (na przykład ograniczenie danych wejściowych do określonej domeny lub uwierzytelnionych użytkowników zamiast otwierania się na wszystkich użytkowników w Internecie) i (ii) implementowanie limitów szybkości użycia.
• Zachęcaj człowieka do przeglądu danych wyjściowych przed publikacją lub rozpowszechnianiem. W przypadku generowania sztucznej inteligencji istnieje możliwość wygenerowania zawartości, która może być obraźliwa lub niezwiązana z zadaniem, nawet w przypadku środków zaradczych. Aby upewnić się, że wygenerowane dane wyjściowe spełniają zadanie użytkownika, rozważ utworzenie sposobów przypomnienia użytkownikom o przejrzeniu danych wyjściowych pod kątem jakości przed ich udostępnieniem. Ta praktyka może zmniejszyć wiele różnych szkód, w tym obraźliwych materiałów, dezinformacji i nie tylko.
• Zaimplementuj dodatkowe środki zaradcze specyficzne dla scenariusza. Zapoznaj się z czynnościami zaradczymi opisanymi w temacie Ocena i integrowanie usługi Azure OpenAI do użycia , w tym strategii moderowania zawartości. Te zalecenia nie reprezentują każdego ograniczenia ryzyka wymaganego dla aplikacji. Nowsze modele, takie jak GPT-4o i modele rozumowania, mogą zapewniać odpowiedzi w poufnych scenariuszach i częściej próbują zmniejszyć potencjalnie szkodliwe dane wyjściowe w odpowiedziach, a nie odmawiać całkowitej reakcji. Ważne jest, aby zrozumieć to zachowanie podczas oceniania i integrowania moderowania zawartości dla danego przypadku użycia; W zależności od przypadku użycia może być konieczne dostosowanie ważności filtrowania.
• Unikaj wyzwalania obowiązkowych zabezpieczeń. Modele bezpośrednie platformy Azure mogą mieć zabezpieczenia, aby zapobiec wykorzystaniu zabezpieczeń, w tym danych wyjściowych nieprzetworzonej zawartości coT i biosecurity. Korzystanie z modelu w sposób, który tworzy luki w zabezpieczeniach lub unika lub próbuje uniknąć ochrony modelu, w tym poprzez obejście tych zabezpieczeń, narusza zasady dopuszczalnego użycia dla usług online i może spowodować zawieszenie. Aby uzyskać więcej informacji na temat najlepszych rozwiązań, odwiedź kartę systemową OpenAI o1, kartę systemową o3-mini, kartę systemową o3/o4-mini oraz kartę systemową GPT-5.

Najlepsze rozwiązania i zalecenia dotyczące dostrajania

Aby ograniczyć ryzyko i ograniczenia dotyczące dostrajania modeli w usłudze Azure OpenAI, zalecamy klientom stosowanie pewnych najlepszych rozwiązań i wytycznych, takich jak:

• Wybór i wstępne przetwarzanie danych: klienci powinni starannie wybrać i wstępnie przetworzyć swoje dane, aby upewnić się, że są one istotne, zróżnicowane i zrównoważone dla zamierzonego zadania i domeny. Klienci powinni również usuwać lub anonimizować wszelkie poufne lub osobiste informacje z danych, takich jak nazwy, adresy lub adresy e-mail, w celu ochrony prywatności i bezpieczeństwa podmiotów danych. Klienci powinni również sprawdzać i poprawiać wszelkie błędy lub niespójności w danych, takich jak pisownia, gramatyka lub formatowanie, aby poprawić jakość i czytelność danych.
• Dołącz komunikat systemowy do danych szkoleniowych dla modeli z funkcją uzupełniania czatu, do kierowania odpowiedziami i używaj tego samego komunikatu systemowego podczas korzystania z dostosowanego modelu do wnioskowania. Pozostawienie pustego komunikatu systemowego często prowadzi do tworzenia modeli o niskiej dokładności, a zapomnienie o dołączeniu tego samego komunikatu systemowego podczas procesu inferencji może spowodować powrót do zachowania modelu bazowego.
• Ocena i testowanie modelu: Klienci powinni ocenić i przetestować wydajność i niezawodność modelu dostosowanego do różnych danych wejściowych i scenariuszy oraz porównać go z oryginalnym modelem i innymi punktami odniesienia. Klienci powinni również używać odpowiednich metryk i kryteriów do mierzenia dokładności, niezawodności i sprawiedliwości modelu oraz do identyfikowania potencjalnych błędów lub uprzedzeń w danych wyjściowych i zachowaniu modelu.
• Dokumentacja modelu i komunikacja: Klienci powinni dokumentować i komunikować się z celem, zakresem, ograniczeniami i założeniami modelu oraz dostarczać jasne i dokładne informacje oraz wskazówki dla użytkowników końcowych modelu.

• Zachowaj aplikację w temacie. W przypadku modeli generowania obrazów możesz wskazać w wierszu polecenia lub danych wejściowych obrazu, że aplikacja generuje tylko obrazy koncepcyjne. Może inaczej wygenerować wyskakujące powiadomienie, które wyjaśnia, że aplikacja nie jest przeznaczona do fotorealistycznego użytku ani przedstawiania rzeczywistości. Rozważ nakierowanie użytkowników na akceptowalne zapytania i dane wejściowe obrazów, wyświetlając takie przykłady na początku lub oferując je jako sugestie w odpowiedzi na nieodpowiednie zapytania. Rozważ trenowanie klasyfikatora, aby określić, czy dane wejściowe (monit lub obraz) są w temacie lub poza tematem.
• Skonfiguruj parametry w celu zwiększenia dokładności lub uziemienia odpowiedzi. Rozszerzanie monitów przy użyciu danych pobranych z zaufanych źródeł, na przykład poprzez użycie funkcji "na Twoich danych" usługi Azure OpenAI, może zmniejszyć, ale nie wyeliminować całkowicie, prawdopodobieństwo wygenerowania niedokładnych odpowiedzi lub fałszywych informacji. Kroki, które można wykonać, aby jeszcze bardziej poprawić dokładność odpowiedzi, obejmują dokładne wybranie zaufanego i odpowiedniego źródła danych oraz skonfigurowanie niestandardowych parametrów, takich jak "ścisłość", "ograniczanie odpowiedzi na zawartość danych" i "liczba pobranych dokumentów do uwzględnienia" odpowiednio do przypadków użycia lub scenariuszy. Dowiedz się więcej na temat konfigurowania tych ustawień dla usługi Azure OpenAI w danych.
• Ogranicz długość, strukturę i szybkość danych wejściowych i wyjściowych. Ograniczenie długości lub struktury danych wejściowych i wyjściowych może zwiększyć prawdopodobieństwo, że aplikacja pozostanie w zadaniu i ograniczy, przynajmniej częściowo, wszelkie potencjalnie niesprawiedliwe, zawodne lub obraźliwe zachowanie. Inne opcje zmniejszenia ryzyka nieprawidłowego użycia obejmują (i) ograniczenie źródła danych wejściowych (na przykład ograniczenie danych wejściowych do określonej domeny lub uwierzytelnionych użytkowników zamiast otwierania się na wszystkich użytkowników w Internecie) i (ii) implementowanie limitów szybkości użycia.
• Zachęcaj człowieka do przeglądu danych wyjściowych przed publikacją lub rozpowszechnianiem. W przypadku generowania sztucznej inteligencji istnieje możliwość wygenerowania zawartości, która może być obraźliwa lub niezwiązana z zadaniem, nawet w przypadku środków zaradczych. Aby upewnić się, że wygenerowane dane wyjściowe spełniają zadanie użytkownika, rozważ utworzenie sposobów przypomnienia użytkownikom o przejrzeniu danych wyjściowych pod kątem jakości przed ich udostępnieniem. Ta praktyka może zmniejszyć wiele różnych szkód, w tym obraźliwych materiałów, dezinformacji i nie tylko.
• Zaimplementuj dodatkowe środki zaradcze specyficzne dla scenariusza. Zapoznaj się z czynnościami zaradczymi opisanymi w temacie Ocena i integrowanie usługi Azure OpenAI do użycia , w tym strategii moderowania zawartości. Te zalecenia nie reprezentują każdego ograniczenia ryzyka wymaganego dla aplikacji. Nowsze modele, takie jak GPT-4o i modele rozumowania, mogą zapewniać odpowiedzi w poufnych scenariuszach i częściej próbują zmniejszyć potencjalnie szkodliwe dane wyjściowe w odpowiedziach, a nie odmawiać całkowitej reakcji. Ważne jest, aby zrozumieć to zachowanie podczas oceniania i integrowania moderowania zawartości dla danego przypadku użycia; W zależności od przypadku użycia może być konieczne dostosowanie ważności filtrowania.

• Pokaż i powiedz podczas projektowania promptów. Dzięki modelom języka naturalnego i modelom mowy wyjaśnij modelowi, jakiego rodzaju dane wyjściowe można oczekiwać za pomocą instrukcji, przykładów lub kombinacji tych dwóch. Jeśli chcesz, aby model sklasyfikował listę elementów w kolejności alfabetycznej lub sklasyfikować akapit według tonacji, pokaż model, który jest odpowiedni.
  • Podpowiedzi dotyczące modelu Whisper w usłudze Azure OpenAI mogą pomóc w ulepszaniu danych wyjściowych modelu. Poniższe najlepsze praktyki pomogą Ci utworzyć podpowiedzi, które najlepiej pasują do Twojego scenariusza i potrzeb.
    • Rozważ dołączenie monitu o poinstruowanie modelu o poprawienie określonych słów lub akronimów, które model często błędnie rozpozna w dźwięku.
    • Aby zachować kontekst pliku podzielonego na segmenty, możesz przekazać modelowi transkrypcję poprzedniego segmentu. Ten monit sprawi, że transkrypcja będzie dokładniejsza, ponieważ model użyje odpowiednich informacji z poprzedniego dźwięku. Model rozważy tylko ostatnie 224 tokeny monitu i zignoruje wszystkie wcześniejsze elementy.
    • Model może pominąć interpunkcję w transkrypcji. Rozważ użycie prostego monitu, który nakazuje modelowi uwzględnienie interpunkcji.
    • Model może również pominąć typowe wyrazy wypełniacze, na przykład hmmm, yyy itp. w nagraniach. Jeśli chcesz zachować słowa-wypełniacze w swojej transkrypcji, możesz dołączyć polecenie zawierające je.
    • Niektóre języki można pisać na różne sposoby, takie jak uproszczony lub tradycyjny chiński. Model może nie zawsze używać stylu pisania, którego użytkownik chce domyślnie użyć do transkrypcji. Rozważ użycie monitu o opisanie preferowanego stylu pisania.
• Zachowaj aplikację w temacie. Starannie struktury monitów i danych wejściowych obrazów, aby zmniejszyć prawdopodobieństwo tworzenia niepożądanej zawartości, nawet jeśli użytkownik spróbuje jej użyć do tego celu. Na przykład możesz wskazać w wierszu polecenia, że czatbot angażuje się tylko w rozmowy na temat matematyki i w przeciwnym razie odpowiada "Przykro mi. Obawiam się, że nie mogę odpowiedzieć na to. Dodanie przymiotników, takich jak "uprzejmy" oraz przykładów w pożądanym tonie do polecenia może również pomóc w kierowaniu wynikami.
• Skonfiguruj parametry w celu zwiększenia dokładności lub uziemienia odpowiedzi. Rozszerzanie monitów przy użyciu danych pobranych z zaufanych źródeł, na przykład poprzez użycie funkcji "na Twoich danych" usługi Azure OpenAI, może zmniejszyć, ale nie wyeliminować całkowicie, prawdopodobieństwo wygenerowania niedokładnych odpowiedzi lub fałszywych informacji. Kroki, które można wykonać, aby jeszcze bardziej poprawić dokładność odpowiedzi, obejmują dokładne wybranie zaufanego i odpowiedniego źródła danych oraz skonfigurowanie niestandardowych parametrów, takich jak "ścisłość", "ograniczanie odpowiedzi na zawartość danych" i "liczba pobranych dokumentów do uwzględnienia" odpowiednio do przypadków użycia lub scenariuszy. Dowiedz się więcej na temat konfigurowania tych ustawień dla usługi Azure OpenAI w danych.
• Mierzenie jakości modelu. W ramach ogólnej jakości modelu należy rozważyć pomiar i poprawę metryk związanych z sprawiedliwością oraz innych metryk związanych z odpowiedzialną sztuczną inteligencją oprócz tradycyjnych miar dokładności dla danego scenariusza. Podczas mierzenia sprawiedliwości systemu należy wziąć pod uwagę zasoby takie jak ta lista kontrolna. Te pomiary mają ograniczenia, które należy potwierdzić i przekazać uczestnikom projektu wraz z wynikami oceny.
• Ogranicz długość, strukturę i szybkość danych wejściowych i wyjściowych. Ograniczenie długości lub struktury danych wejściowych i wyjściowych może zwiększyć prawdopodobieństwo, że aplikacja pozostanie w zadaniu i ograniczy, przynajmniej częściowo, wszelkie potencjalnie niesprawiedliwe, zawodne lub obraźliwe zachowanie. Inne opcje zmniejszenia ryzyka nieprawidłowego użycia obejmują (i) ograniczenie źródła danych wejściowych (na przykład ograniczenie danych wejściowych do określonej domeny lub uwierzytelnionych użytkowników zamiast otwierania się na wszystkich użytkowników w Internecie) i (ii) implementowanie limitów szybkości użycia.
• Zachęcaj człowieka do przeglądu danych wyjściowych przed publikacją lub rozpowszechnianiem. W przypadku generowania sztucznej inteligencji istnieje możliwość wygenerowania zawartości, która może być obraźliwa lub niezwiązana z zadaniem, nawet w przypadku środków zaradczych. Aby upewnić się, że wygenerowane dane wyjściowe spełniają zadanie użytkownika, rozważ utworzenie sposobów przypomnienia użytkownikom o przejrzeniu danych wyjściowych pod kątem jakości przed ich udostępnieniem. Ta praktyka może zmniejszyć wiele różnych szkód, w tym obraźliwych materiałów, dezinformacji i nie tylko.

Kroki przeprowadzania oceny usługi Azure OpenAI są następujące:

1. Podaj dane do oceny: przekazany plik prosty w formacie JSONL lub wygenerowany na podstawie serii monitów.
2. Określ przypadki testowe, aby ocenić dane: Wybierz co najmniej jeden przypadek testowy, aby ocenić podane dane, przyznając oceny za zdanie/niezdanie.
3. Przeglądanie i filtrowanie wyników: Każdy test zawiera definicję wyników zaliczenia i niezaliczenia. Po przeprowadzeniu oceny użytkownicy mogą przejrzeć wyniki wiersz po wierszu, aby wyświetlić indywidualne wyniki testów lub filtrować według tego, czy testy przeszły/nie przeszły.

Aby uzyskać dodatkowe informacje na temat odpowiedzialnego oceniania i integrowania tych modeli, zobacz dokument RAI Overview (Przegląd RAI).

Aby uzyskać dodatkowe informacje na temat odpowiedzialnego oceniania i integrowania tych modeli, zobacz dokument RAI Overview (Przegląd RAI).

Model OpenAI Whisper jest również dostępny w usłudze Azure Speech, poprawiając wrażenia użytkownika dzięki zaawansowanym funkcjom, takim jak rozpoznawanie wielojęzyczne i czytelność. W zależności od scenariusza możesz eksplorować usługi Azure Speech i dodatkowe możliwości tej usługi, takie jak diaryzacja, dostosowywanie, streaming w czasie rzeczywistym lub przetwarzanie wielu plików audio w ramach jednego żądania. Aby uzyskać dodatkowe informacje na temat odpowiedzialnej oceny i integracji modelu Whisper, zapoznaj się z informacją o przejrzystości usług Azure Speech.