Спекулятивное декодирование Qwen3.8-27B на 16 ГБ: опыт запуска на RX 9070 XT с ~60 ток/с

Спекулятивное декодирование Qwen3.8-27B на 16 ГБ: опыт запуска на RX 9070 XT с ~60 ток/с

Пользователь запустил Qwen3.8-27B на RX 9070 XT с 16 ГБ VRAM и получил около 60 ток/с. Разбираем связку с draft-моделью, KV-кэш k 8_0/v 4_0, контекст 128k и нюа

Читать статью →

Подписаться на канал