EAGLE3 в llama.cpp: ускоряем инференс языковых моделей с помощью speculative decoding до 5x

EAGLE3 в llama.cpp: ускоряем инференс языковых моделей с помощью speculative decoding до 5x

EAGLE3 встраивает легковесную "голову" прямо на скрытые состояния основной модели, добиваясь acceptance rate до 80-90% и ускоряя генерацию в 3-5 раз. Механизм уже поддерживает Llama 3.2, Qwen 2.5, Gemma-3 и другие актуальные архитектуры. Инструкция включает запуск на RTX 3090 и сравнение с AETHER-X и ngram.

Читать статью →

Подписаться на канал