Рекурсивный движок llama.cpp: прирост качества x3 ценой 13% скорости

Рекурсивный движок llama.cpp: прирост качества x3 ценой 13% скорости. Тесты на RTX 3050 с Qwen 32B, 7B Coder и Mistral

1. Прирост точности до 3.1x достигается ценой падения скорости на 11–17% и роста VRAM ~12% — это приемлемый компромисс для задач, где качество важнее скорости.
2. Эффективность рекурсии зависит от архитектуры: Qwen

Подписаться на канал