Hy3 (hyv3) врывается в llama.cpp: MTP-декадирование на стероидах

Hy3 (hy_v3) врывается в llama.cpp: MTP-декадирование на стероидах

Новая модель Hy3, интегрированная в llama-core, использует Multi-Token Prediction (MTP) для ускорения инференса до 111%. В отличие от классического спекулятивного декодирования, Hy3 обучается предсказывать сразу несколько токенов, применяя shared embedding и кросс-токен-аттеншн, что снижает задержки и требования к памяти.

Требует предварительно обученную на MTP модель-драфтер и неэффективна с произвольными LLM.

Читать статью →

Подписаться на канал