Tokenizer.Encode(String) Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Codifica el texto de entrada en el objeto con la lista de tokens, los identificadores de tokens, la asignación de desplazamiento de tokens.
public Microsoft.ML.Tokenizers.TokenizerResult Encode(string sequence);member this.Encode : string -> Microsoft.ML.Tokenizers.TokenizerResultPublic Function Encode (sequence As String) As TokenizerResultParámetros
- sequence
- String
Texto que se va a tokenizar.
Devoluciones
El resultado de la tokenización incluye la lista de tokens, los identificadores de tokens, la asignación de desplazamiento de tokens.