Слабый ноутбук и локальный агент: две малые модели, у каждой своя цена

Слабый ноутбук и локальный агент: две малые модели, у каждой своя цена

Ноутбук слабый — MacBook Air M1, — а локального агента запустить хочется. В тесте на таком железе столкнули две малые модели: LFM2.5 2.6B и MiniCPM5 2B. Обе влезают, но платить за выбор придётся разным.

LFM2.5 2.6B — вариант, когда важна скорость на коротких одношаговых задачах. По данным автора теста, на M1 она обошла соперницу и по скорости, и по расходу памяти: обработка промпта 200 t/s против 162, генерация ответа 22 t/s против 16. Но если диалог удлиняется, по наблюдению того же автора, модель быстро начинает галлюцинировать. Цена выбора — держать разговор коротким и сбрасывать контекст между задачами.

MiniCPM5 2B — компромисс под слабое железо: брать её стоит, если есть запас памяти и скорость не критична. При ответе на английском она может оказаться сильнее в агентной работе, однако регулярно отвечает на китайском даже на англоязычный промпт. Цена — фиксировать язык в системном сообщении и проверять первый ответ, прежде чем отдавать длинную цепочку шагов.

Учебный пример: агенту поручено найти факт в вебе и вернуть ответ. На LFM2.5 2.6B держите диалог коротким. На MiniCPM5 2B сначала сверьте, на каком языке пришёл ответ.

Замеры сделал один пользователь на MacBook Air M1, воспроизводимость не проверялась — это набор наблюдений, а не стандартизированный бенчмарк, и он не доказывает превосходство самой модели. Оценки галлюцинаций и языка ответа качественные, без числовых метрик.

Правило простое: короткие одношаговые задачи, мало памяти, нужна скорость — LFM2.5 2.6B. Есть запас памяти, скорость терпит, готовы следить за языком ради потенциально более сильной агентной работы — MiniCPM5 2B. Явного победителя нет: сильные стороны у моделей разные, и проверять их стоит на своих сценариях.

Разбор