Запуск Qwen-3.6-27B на iPhone: обзор технологии сжатия PrismML и перспективы локальных LLM

Запуск Qwen-3.6-27B на iPhone: обзор технологии сжатия PrismML и перспективы локальных LLM

Команда PrismML сжала 27-миллиардную модель Qwen до 4,2 ГБ — в 13 раз меньше оригинала. Достигнуто это не простым квантованием, а комбинацией структурного удаления избыточных блоков сети и разреженного кодирования оставшихся связей с понижением точности до 1,58 бит. Падение метрик MMLU-Pro при этом составило менее 3%, что для мобильного сценария приемлемо.

Принципиальное отличие подхода — адаптация под Apple Neural Engine через AMX (Apple Matrix Accelerator), что позволяет добиться скорости генерации, достаточной для диалогового использования на iPhone 17 Pro. Это сдвигает парадигму: LLM перестаёт быть облачной утилитой и становится on-device системой, работающей без задержек и без отправки данных на сервер.

Прямое сравнение с Bonsai и TurboQuant показывает, что PrismML выигрывает в итоговом качестве при аналогичном размере модели. Однако остаётся вопрос масштабируемости — метод требует предварительного анализа архитектуры и тонкой настройки для каждой конкретной модели, что ограничивает скорость внедрения на широкий спектр архитектур.

Читать статью →

Подписаться на канал