Looped Transformer: как Nanbeige4.2-3B обходит модели в 4 раза больше за счёт переиспользования

Looped Transformer: как Nanbeige4.2-3B обходит модели в 4 раза больше за счёт переиспользования слоёв
Модель Nanbeige4.2-3B с 3 миллиардами параметров обходит конкурентов в 4 раза большего размера в задачах общего и кодового агентирования.
Архитектура Looped Transformer циклически переиспользует один и тот же блок слоёв, наращивая эффективную глубину обработки без увеличения числа параметров.
Вместо последовательного прохода через десятки уникальных слоёв данные несколько раз пропускаются через компактный набор слоёв.
Этот подход ломает привычную логику масштабирования: больше параметров не всегда означает лучшее качество.
Умная архитектура компенсирует скромный размер модели и доказывает, что переиспользование слоёв — эффективная альтернатива наращиванию параметров.
Читать статью →

Подписаться на канал