Недавно стала доступна для локальной установки новая ИИ от Французов.Мне не хватает всего лишь 1.35 терабайта памяти для запуска модели в формате BF16 :) Ожидается, что с квантизацией IQ4 модель уместится в 512 гигабайт.

Но если у вас есть 1 терабайт оперативки и 96 гигабайт видеопамяти, даже этого не хватает примерно на 230 гигабайт для запуска полной версии этой ИИ. А она хороша... С Русским норм. Короче - ну нафиг эти локальные ИИ, тем более память дорожает.

Русский ИТ бизнес