colibri - инструмент, позволяющий запускать модель GLM-5.2 с 744 миллиардами параметров на

colibri - инструмент, позволяющий запускать модель GLM-5.2 с 744 миллиардами параметров на потребительском компьютере с 25 ГБ оперативной памяти. Программа написана на чистом языке C и не требует дополнительных зависимостей.

Она использует технологию Mixture of Experts (MoE), где эксперты загружаются с диска по мере необходимости, что снижает требования к оперативной памяти.

https://github.com/JustVugg/colibri

Кто пробовал?

tg / max