AttnRes: Перестройка Gemma 4 31B — дистилляция, weaning-график и распределение вероятностей

AttnRes: Перестройка Gemma 4 31B — дистилляция, weaning-график и распределение вероятностей
1. AttnRes заменяет residual stream на attention-based routing — модель сама решает, признаки каких слоёв усилить, а какие приглушить
2. Дистилляция идёт по weaning-графику: сначала плотное копирование учителя, затем связь постепенно ослабляется, и модель учится работать автономно
3. Вместо полного softmax берут top-12 логгитов — это стабилизирует распределение вероятностей и экономит вычислительные ресурсы
4. Подход уже применялся в Kimi K3 от Moonshot, так что архитектура проверена в бою, а не остаётся теорией
Читать статью →

Подписаться на канал