BpeTrainer Constructores
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Sobrecargas
| BpeTrainer() |
Construya un nuevo objeto BpeTrainer con los valores predeterminados. |
| BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String) |
Construye un nuevo objeto BpeTrainer. |
BpeTrainer()
Construya un nuevo objeto BpeTrainer con los valores predeterminados.
public BpeTrainer();Public Sub New ()Se aplica a
BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)
Construye un nuevo objeto BpeTrainer.
public BpeTrainer(System.Collections.Generic.IEnumerable<Microsoft.ML.Tokenizers.AddedToken>? specialTokens, int minFrequency = 0, int vocabSize = 30000, Microsoft.ML.Tokenizers.ReportProgress? progress = default, int? limitAlphabet = default, System.Collections.Generic.HashSet<char>? initialAlphabet = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);new Microsoft.ML.Tokenizers.BpeTrainer : seq<Microsoft.ML.Tokenizers.AddedToken> * int * int * Microsoft.ML.Tokenizers.ReportProgress * Nullable<int> * System.Collections.Generic.HashSet<char> * string * string -> Microsoft.ML.Tokenizers.BpeTrainerPublic Sub New (specialTokens As IEnumerable(Of AddedToken), Optional minFrequency As Integer = 0, Optional vocabSize As Integer = 30000, Optional progress As ReportProgress = Nothing, Optional limitAlphabet As Nullable(Of Integer) = Nothing, Optional initialAlphabet As HashSet(Of Char) = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)Parámetros
- specialTokens
- IEnumerable<AddedToken>
Lista de tokens especiales de los que debe conocer el modelo.
- minFrequency
- Int32
La frecuencia mínima que debe tener un par para combinarse.
- vocabSize
- Int32
el tamaño del vocabulario final, incluidos todos los tokens y el alfabeto.
- progress
- ReportProgress
Devolución de llamada para las actualizaciones de progreso del entrenamiento.
Ruta de acceso del archivo JSON que contiene el diccionario de claves de cadena y sus identificadores
- continuingSubwordPrefix
- String
prefijo que se va a usar para cada sub word que no sea un principio de palabra.
- endOfWordSuffix
- String
sufijo que se va a usar para cada sub word que sea un final de palabra.