Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Post media
Посмотрите, что народ вытворяет. Запустили модель с 500 млрд.параметров на обычном домашнем ПК. Скорость - 2 токена а секунду. https://www.reddit.com/r/LocalLLaMA/s/MaOWyYLce2 вот здесь детали.

Могу на своем игровом ПК вечером повторить :)
Если вам нужна конфиденциальность - отличное решение.

Русский ИТ бизнес
0/6 Открыть в Telegram

Комментарии (0)

  • migpart
    Я вот нихера ещё не понимаю в локальных моделях(
    Скажите - они работают точно также, как и онлайновые? То есть они обученные ровно настолько же? Где у них хранится база всех параметров?
    • niktimas
      нет, чуть ограниченные по объемам. "база параметров" разворачивается в весах и датасетах например, также локально с моделью..
      • migpart
        То есть разница - только в скорости обработки? Которая зависит от железа и мощностей?
        А в остальном - всё так же и такое же?
        • niktimas
          Да, по сути так.

          Огромным плюсом является возможность дообучить модель под ваши задачи и отрубить ей интернет )
          • migpart
            Прикольно)
            Тогда для онлайновых задач - можно использовать онлайн модели, а для внутрянки типа RAG - внутреннюю).
            Надо подумать над железом🙈😎🔥
          • Ulyanov_pavel
            Контекстное окно еще сильно будет отличаться.
            Скорее всего на 128 гагах 1мл не будет.
            Ну и 2 токена это ОЧЕНЬ мало!
            • niktimas
              Ну вчера даже тут выкладывали на 300млн токенов в сутки и 70млрд параметров, вроде как этого для автоматизации рутины точно хватит
        • mtrnkwas
          Только она будет намного тупее. Самые мощные открытые модели, например Deepseek в неквантованном виде, ни на каком обычном компьютере запустить не получится. Да и далеко не на каждом сервере.
  • habibullin_rm
    128 гигов оперативки - конечно, самый обычный домашний комп)