Udostępnij przez


Token(Int32, String, ValueTuple<Int32,Int32>) Konstruktor

Definicja

Skonstruuj nowy obiekt Token przy użyciu wartości tokenu, identyfikatora i mapowania przesunięcia na oryginalny ciąg.

public Token(int id, string value,(int, int) offset);
new Microsoft.ML.Tokenizers.Token : int * string * ValueTuple<int, int> -> Microsoft.ML.Tokenizers.Token
Public Sub New (id As Integer, value As String, offset As ValueTuple(Of Integer, Integer))

Parametry

id
Int32

Wartość Identyfikator skojarzona z tokenem.

value
String

Wartość ciągu tokenu.

offset
ValueTuple<Int32,Int32>

Przesunięcie mapowane na oryginalny ciąg.

Dotyczy