Как правильно апскейлить Gemma 4: настройка layerscalar при дублировании слоёв

Как правильно апскейлить Gemma 4: настройка layer_scalar при дублировании слоёв

Дублирование слоёв без пересчёта layer_scalar нарушает residual stream, что приводит к взрывному росту активаций и нестабильному loss.

Для сохранения внутренней нормализации каждый layer_scalar необходимо пересчитывать по формуле s^(1/N), где N — новое количество слоёв.

Игнорирование корректировки скаляра делает апскейл неработоспособным даже при сохранении Pre-LayerNorm и прочих архитектурных решений.

Читать статью →

Подписаться на канал