Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Post media
Что делают ИИ- энтузиасты. Запустили модель уровня Kimi k2 думающую на обычном ПК. Скорость 0.5 токена в секунду (2 слова в секунду). Зато все конфиденциально :)

Говорю же - это хобби. История не прикладная.

Русский ИТ бизнес
0/9 Открыть в Telegram

Комментарии (0)

  • sergivanitsa
    Обычный комп домашний на 128гб оперативки. Ничего не обычного. Все очень обычно.
    • dmitry236
      да у мака сейчас даже на ноутах до 128
      • AndreNorte
        Ну ты ж знаешь эти, как их там: депрессия, торг, принятие. Эпел сначала делает, а всем остальным надо пройти все стадии, чтобы нормально воспринималось😆
        • s17471s
          был момент она вообще как то дешего стоила, 20-22г, тоже волны как с видяхами
    • s17471s
      Comment media
      я думаю можно за 20к найти с китая
      • dmitry236
        может тряхнуть стариной и собрать себе какой-то сервак домой, а то чё я по 200-300 баксов за одну машину башляю
        • AndreNorte
          А че нет
        • s17471s
          и на гранту пересесть
          • dmitry236
            я жирный, мне будет неудобно
            • s17471s
              это же плюс, мотивация туда залезть будет
              • dmitry236
                я к вентиляции сидушек уже привык
                • s17471s
                  массажный чехол постелишь, деревянный такой)
  • AleksSerge
    Простите, но это похоже на фейк. Не может на таком железе такая модель так быстро работать. Она занимает 490гб. Даже если учесть, что не сразу все включаются все веса, ну как минимум 250гб на первый прогон требуется. У него ни памяти в видео ни оперативки на это не хватает. Ssd не может вытянуть такой скорости.
    Это какой-то звиздешь.
  • AleksSerge
    Кроме того ollama не параллелит вычисление. Либо vram+gpu, либо ram+cpu. Решения выстраивания очереди ssd - ram - vram не нашел. А уж параллельное вычисление между cpu and gpu нормального нет, потому что 1. Рост ошибок растет и cuda падает или пересчитывает 2. Общая скорость падает на одно и нужно слишком много думать о синхронизации.

    В общем, либо это фейк чистой воды, либо чувак сделал невозможное и написал свой софт чтобы все работало, не падало и каким-то образом ускорилось.