Чел на Реддите попробовал новую модель OpenAI gpt-oss-120b на своем MacBook Pro M4 Max со 128 гигами памяти в программе LM Studio. Результаты получились довольно крутые: модель выдает в среднем 40 токенов в секунду, а первый токен появляется всего за 0.87 секунды.

При этом она ест примерно 60 гигов оперативки и грузит процессор меньше чем на 3%, так что можно спокойно держать открытыми три виртуалки и 80 вкладок в браузере.

Вот основные цифры.

Производительность:

• 40 токенов в секунду — средняя скорость генерации
• 0.87 секунды — время до первого токена
• 31 токен в секунду — скорость

Ресурсы системы:

• 128 гигабайт — объем оперативной памяти
• 60 гигабайт — использование памяти моделью
• Менее 3% — загрузка процессора

Настройки и ограничения:

• 4096 токенов — изначальный лимит на длину ответа
• 53000 токенов — размер тестового большого промпта
• 182 секунды — время обработки большого промпта

Русский ИТ бизнес