Посмотрите, что народ вытворяет. Запустили модель с 500 млрд.параметров на обычном домашнем ПК. Скорость - 2 токена а секунду. https://www.reddit.com/r/LocalLLaMA/s/MaOWyYLce2 вот здесь детали.
Могу на своем игровом ПК вечером повторить :)
Если вам нужна конфиденциальность - отличное решение.
Русский ИТ бизнес
Русский ИТ бизнес
12 ноя 2025 10:27
Скажите - они работают точно также, как и онлайновые? То есть они обученные ровно настолько же? Где у них хранится база всех параметров?
А в остальном - всё так же и такое же?
Огромным плюсом является возможность дообучить модель под ваши задачи и отрубить ей интернет )
Тогда для онлайновых задач - можно использовать онлайн модели, а для внутрянки типа RAG - внутреннюю).
Надо подумать над железом🙈😎🔥
Скорее всего на 128 гагах 1мл не будет.
Ну и 2 токена это ОЧЕНЬ мало!