Tokenizer.DefaultTokenizerImpl(String, String) Methode
Definitie
Belangrijk
Bepaalde informatie heeft betrekking op een voorlopige productversie die aanzienlijk kan worden gewijzigd voordat deze wordt uitgebracht. Microsoft biedt geen enkele expliciete of impliciete garanties met betrekking tot de informatie die hier wordt verstrekt.
Eenvoudige tokenizer die spaties en leestekens onderbreekt. De enige normalisatie die wordt uitgevoerd, is kleine letters.
public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl(string text, string locale = default);static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)Parameters
- text
- String
De invoertekst.
- locale
- String
Optioneel, geeft de landinstelling van de invoertekst aan.
Retouren
Een lijst met tokens.
Opmerkingen
Dit is een exacte poort van de JavaScript-implementatie van het algoritme, behalve dat hier de .NET-bibliotheekfuncties worden gebruikt in plaats van de JavaScript-tekenreekscodepuntfuncties.