TokenizerResult Klasa
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Kodowanie reprezentuje dane wyjściowe tokenizatora.
public sealed class TokenizerResulttype TokenizerResult = classPublic NotInheritable Class TokenizerResult- Dziedziczenie
-
TokenizerResult
Konstruktory
| TokenizerResult(String, String, IReadOnlyList<Split>, Boolean) |
Utwórz nowy obiekt obiektu TokenizerResult. |
Właściwości
| Ids |
Pobiera listę identyfikatorów tokenów. Identyfikatory są głównymi danymi wejściowymi modelu językowego. Są to indeksy tokenów, reprezentacje liczbowe, które rozumie LM. |
| NormalizedString |
Pobiera znormalizowaną formę oryginalnego ciągu. |
| Offsets |
Pobiera listę przesunięć. Te przesunięcia pozwalają wyciąć ciąg wejściowy, a tym samym pobrać oryginalną część, która doprowadziła do utworzenia odpowiedniego tokenu. |
| OffsetsMappedToOriginalString |
Pobiera znormalizowaną formę oryginalnego ciągu. |
| OriginalString |
Pobiera oryginalny ciąg tokenizowany. |
| Tokens |
Pobiera wygenerowane tokeny. Są one reprezentacją ciągów identyfikatorów. |