BpeTrainer Konstruktory
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Przeciążenia
| BpeTrainer() |
Skonstruuj nowy obiekt BpeTrainer przy użyciu wartości domyślnych. |
| BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String) |
Skonstruuj nowy obiekt BpeTrainer. |
BpeTrainer()
Skonstruuj nowy obiekt BpeTrainer przy użyciu wartości domyślnych.
public BpeTrainer();Public Sub New ()Dotyczy
BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)
Skonstruuj nowy obiekt BpeTrainer.
public BpeTrainer(System.Collections.Generic.IEnumerable<Microsoft.ML.Tokenizers.AddedToken>? specialTokens, int minFrequency = 0, int vocabSize = 30000, Microsoft.ML.Tokenizers.ReportProgress? progress = default, int? limitAlphabet = default, System.Collections.Generic.HashSet<char>? initialAlphabet = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);new Microsoft.ML.Tokenizers.BpeTrainer : seq<Microsoft.ML.Tokenizers.AddedToken> * int * int * Microsoft.ML.Tokenizers.ReportProgress * Nullable<int> * System.Collections.Generic.HashSet<char> * string * string -> Microsoft.ML.Tokenizers.BpeTrainerPublic Sub New (specialTokens As IEnumerable(Of AddedToken), Optional minFrequency As Integer = 0, Optional vocabSize As Integer = 30000, Optional progress As ReportProgress = Nothing, Optional limitAlphabet As Nullable(Of Integer) = Nothing, Optional initialAlphabet As HashSet(Of Char) = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)Parametry
- specialTokens
- IEnumerable<AddedToken>
Lista tokenów specjalnych, o których powinien wiedzieć model.
- minFrequency
- Int32
Minimalna częstotliwość, jaką powinna mieć para w celu scalenia.
- vocabSize
- Int32
rozmiar ostatniego słownictwa, w tym wszystkich tokenów i alfabetu.
- progress
- ReportProgress
Wywołanie zwrotne aktualizacji postępu trenowania.
Ścieżka pliku JSON zawierająca słownik kluczy ciągów i ich identyfikatory
- continuingSubwordPrefix
- String
prefiks, który ma być używany dla każdego podrzędnego wyrazu, który nie jest początkiem wyrazu.
- endOfWordSuffix
- String
sufiks, który ma być używany dla każdego wyrazu podrzędnego, który jest końcem wyrazu.