NasBertTrainer.NasBertOptions Clase

Tasa de eliminación después de las funciones de activación en capas FFN. Debe estar dentro de [0, 1).

Betas para el optimizador adam.

Epsilon para el optimizador adam.

Tasa de abandono para pesos de atención. Debe estar dentro de [0, 1).

Número de muestras que se usarán para el entrenamiento por lotes.

Umbral de recorte de degradados. Debe estar dentro de [0, +Inf). 0 significa no recortar la norma.

Tasa de abandono para situaciones generales. Debe estar dentro de [0, 1).

Si se va a usar la lista desplegable dinámica.

Si se va a aplicar la normalización de capas antes de cada bloque de codificador.

Velocidad de aprendizaje final para el programador de descomposición polinómica.

Si se inmovilizarán los parámetros del codificador.

Si se inmovilizarán los parámetros del módulo de transferencia.

Nombre de columna de etiqueta.

Si se entrenan los parámetros de la norma de capa.

Velocidad de aprendizaje para las primeras N épocas; todas las épocas >N con LR_N. Nota: Esto puede interpretarse de forma diferente en función del programador.

Detenga el entrenamiento al alcanzar este número de épocas.

Tasa de eliminación en las capas de agrupador de modelos de lenguaje enmascarados. Debe estar dentro de [0, 1).

Nombre de la columna Predicción.

Nombre de la columna Score.

Primera columna de oración.

Segunda columna de oración.

Velocidad de aprendizaje inicial para el programador de descomposición polinómica.

Tipo de tarea, que está relacionado con el encabezado del modelo.

Conjunto de validación usado durante el entrenamiento para mejorar la calidad del modelo.

Proporción de pasos de preparación para el programador de descomposición polinómica.

Deficiencia de la descomposición del peso. Debe estar dentro de [0, +Inf).