HydraHead: Qwen сломала стереотип о том, что все головы внимания одинаковы

HydraHead: Qwen сломала стереотип о том, что все головы внимания одинаковы
Команда Qwen представила HydraHead — архитектуру, в которой каждая голова внимания может быть разного типа (локальная, глобальная, сверточная). Техника отказывается от однотипности multi-head attention.
HydraHead позволяет модели гибко комбинировать различные механизмы внимания в одном слое, повышая эффективность без увеличения числа параметров.
Читать статью →

Подписаться на канал