Модель не влезает в видеопамять: чем платим за llama.cpp и vLLM

Модель не влезает в видеопамять: чем платим за llama.cpp и vLLM

На рабочей станции много RAM и две разные потребительские видеокарты. Крупная MoE-модель целиком в видеопамять не влезает, часть весов уходит в системную память — и движок надо выбрать заранее, потому что от него зависит, сколько вечеров уйдёт на отладку.

llama.cpp. Когда вы работаете за себя одного и запускаете крупные MoE-модели с выгрузкой части тензоров в системную память, это более предсказуемый вариант. Платите тем, что свежих архитектур иногда приходится ждать.

vLLM. Довод в его пользу — официальная поддержка многих новых моделей появляется почти сразу после релиза. Платите временем: поддержка в коде и рабочий запуск именно на вашей конфигурации — разные вещи, настройку под свою связку карт придётся разбирать самому.

Про Freetoken. Полноценного сравнения Freetoken и llama.cpp по MoE offload на подтверждённых данных сейчас не существует. Значит, выбирать по обещаниям смысла нет.

Учебный пример. Возьмите модель, которая уже стабильно работает в llama.cpp, и прогоните её в vLLM на том же промпте и той же длине контекста. Сравните скорость, потребление RAM и поведение на длинном контексте. Если результат не устроил, остаться на llama.cpp — тоже нормальный вариант.

Правило простое: нужна предсказуемость и документация — начинайте с llama.cpp; важнее запустить свежую MoE-модель сразу после релиза и есть время на настройку — довод за vLLM в силе. Но решать стоит по собственному тесту, а не по обещаниям.

Разбор 1 · Разбор 2