Короче, я открыл для себя Strata

Короче, я открыл для себя Strata

Эта хуйня реально работает. Большая QWEN Запустилась и дает 60 токенов в секунду на моем пердящем ПК.

При том что я запустил на 16GB VRAM модель IQ2_XS, 125 миллиардов параметров.

Это нечто....