Результаты запуска мощных локальных ИИ на Apple Mac Studio M3 Ultra (32 CPU, 80 GPU), 512 ГБ, 8 ТБ SSD. Цена 1.1 млн. руб. в России.

Запускали GLM-4.7-6bit и MiniMax-M2.1-6bit. Скорость около 15 токенов в секунду (40 символов русского языка в сек.).

Ну и кому это надо? :) Хотя... Если вы программируете мощно и боитесь, что останетесь без Инета и не сможете писать код - тогда да. Будет сильный локальный помощник.

А мы пока сократили еждневные издержки на ИИ до 500 р. - это дает нам возможность делать рерайт 40к товаров в сутки. Пока достаточно, на новогодние так оставим.

Русский ИТ бизнес