TokenizerResult 클래스

정의

중요

일부 정보는 릴리스되기 전에 상당 부분 수정될 수 있는 시험판 제품과 관련이 있습니다. Microsoft는 여기에 제공된 정보에 대해 어떠한 명시적이거나 묵시적인 보증도 하지 않습니다.

인코딩은 Tokenizer의 출력을 나타냅니다.

public sealed class TokenizerResult

type TokenizerResult = class

Public NotInheritable Class TokenizerResult

TokenizerResult 개체의 새 개체를 만듭니다.

Ids	토큰 ID 목록을 가져옵니다. ID는 언어 모델에 대한 기본 입력입니다. LM이 이해하는 숫자 표현인 토큰 인덱스입니다.
NormalizedString	원래 문자열의 정규화된 형식을 가져옵니다.
Offsets	오프셋 목록을 가져옵니다. 이러한 오프셋을 사용하면 입력 문자열을 조각화하여 해당 토큰을 생성하게 된 원래 부분을 검색할 수 있습니다.
OffsetsMappedToOriginalString	원래 문자열의 정규화된 형식을 가져옵니다.
OriginalString	원래 토큰화된 문자열을 가져옵니다.
Tokens	생성된 토큰을 가져옵니다. ID의 문자열 표현입니다.