Не знаю, как это запускать локально, ибо новые ИИ просто коллосы.

Судя по расчетам пользователей на основе кода (HuggingFace PR), общая база параметров GLM-5 составляет около 776 миллиардов (776B).

Чтобы запустить такую махину даже в сжатом виде (квантование 4-бит), потребуется более 400 ГБ видеопамяти (VRAM). Для этого нужно минимум 17–20 видеокарт RTX 3090/4090, что превращает «локальный» запуск в серверную задачу :)

В общем ИИ становятся умнее, но «входной билет» для их запуска дома подорожал до цены подержанного автомобиля в РФ.

Русский ИТ бизнес