Tokeny monitów

Model monitów nie operuje na wyrazach ani znakach jako jednostkach tekstu, ale zamiast tego używa czegoś pomiędzy: tokenów.

• Token może być pojedynczym znakiem, ułamkiem wyrazu lub całym słowem.
  • Wiele popularnych słów jest reprezentowanych przez pojedynczy token.
  • Mniej popularne słowa są reprezentowane przez wiele tokenów.
• Gdy obrazy lub dokumenty są zawarte w instrukcji monitu, są one tłumaczone na tokeny zgodnie z regułami konwersji.

Tokeny zużywane przez prompt

Po utworzeniu i uruchomieniu instrukcji monitu dzieje się co następuje:

• Instrukcja monitu jest dekonstruowana na sekwencję tokenów nazywanych tokenami wejściowymi.
• Model generuje odpowiedź jako sekwencję tokenów nazywanych tokenami wyjściowymi.

Tokeny wejściowe są sumą tokenów pochodzących z:

• Metamonit systemowy z Microsoft. Ten monit systemowy nie jest widoczny i jest niezbędny dla bezpieczeństwa odpowiedzi na monit. Może to oznaczać około 1200 tokenów, choć może się to różnić.
• Instrukcja prompta.
• Jeśli istnieją, wartości wejściowe.
• Jeśli istnieją, pobrane dane wiedzy.

Tokeny wyjściowe odnoszą się do tokenów wygenerowanych przez model w odpowiedzi. Obejmuje to tokeny zarówno z procesu rozumowania, jak i wyniku końcowego wygenerowanego przez monit.

Jak tokeny wpływają na licencjonowanie

Kombinacja tokenów wejściowych, tokenów wyjściowych i wersji modelu umożliwia obliczenie kosztu uruchomienia monitu. Więcej informacji można znaleźć w sekcji karta ocen AI Builder w pliku Przewodnik licencyjny Microsoft Power Platform w pliku PDF do pobrania.

Podczas tworzenia rozwiązań zawierających monity ważne może być oszacowanie średniego kosztu monitu. Dwie możliwości osiągnięcia tego celu zostały wyjaśnione w poniższych sekcjach.

Liczba kredytów w konstruktorze monitów

Podczas testowania promptu w AI Hub w portalu Power Automate lub Power Apps można wyświetlić kredyty zużyte przez prompt. Testowanie jest bezpłatne, więc jest to wartość prognozowana.

Liczba tokenów z przepływu Power Automate

Po wywołaniu akcji monitu w przepływie można uzyskać skojarzone dane wejściowe i tokeny przy użyciu formuł.

Tokeny wejściowe

outputs('Run_a_prompt')?['body/responsev2/predictionOutput/promptTokens']

Tokeny wyjściowe

outputs('Run_a_prompt')?['body/responsev2/predictionOutput/completionTokens']

Jak obrazy lub dokumenty są tłumaczone na tokeny

Po przekazaniu obrazu do monitu jest on konwertowany na tokeny.

Po przekazaniu dokumentu PDF do monitu jest on najpierw konwertowany na obrazy z jednym obrazem na stronę, a następnie na tokeny.

Konwersja tokenów na obrazy w pełni stosuje logikę Azure OpenAI.

Używamy auto ustawienia podczas przekazywania obrazów do Azure OpenAI. Oznacza to, że koszt tokena obrazu zależy od jego początkowej rozdzielczości.

Obraz o niskiej rozdzielczości

Obrazy o rozdzielczości niższej niż 512 x 512 pikseli mają stały współczynnik konwersji wynoszący 85 tokenów na obraz, niezależnie od rozmiaru.

Obrazy o wysokiej rozdzielczości

W przypadku obrazów o rozdzielczości większej niż 512 x 512 pikseli konwersja tokenu odbywa się w dwóch krokach. Kroki zostały opisane w poniższej tabeli.

Informacje pokrewne

• Licencjonowanie i środki na korzystanie z narzędzia AI Builder
• Microsoft Power Platform — Przewodnik licencjonowania (PDF)
• Dodawanie danych wejściowych tekstu, obrazu lub dokumentu do monitu