Telega FM Агрегатор постов из телеграмм по темам
Новое Горячее Лучшее
Русский ИТ бизнес
Русский ИТ бизнес
14 ноя 2025 10:47
Что делают ИИ- энтузиасты. Запустили модель уровня Kimi k2 думающую на обычном ПК. Скорость 0.5 токена в секунду (2 слова в секунду). Зато все конфиденциально :)

Говорю же - это хобби. История не прикладная.

Русский ИТ бизнес
0
👍 0
0
  • Матовый Сыщик
    Матовый Сыщик
    Обычный комп домашний на 128гб оперативки. Ничего не обычного. Все очень обычно. Ответить
    раскрыть ветку (11)
    • Раздражительный Жираф
      Раздражительный Жираф
      да у мака сейчас даже на ноутах до 128 Ответить
      раскрыть ветку (2)
      • Чесночный Минотавр
        Чесночный Минотавр
        Ну ты ж знаешь эти, как их там: депрессия, торг, принятие. Эпел сначала делает, а всем остальным надо пройти все стадии, чтобы нормально воспринималось😆 Ответить
        раскрыть ветку (1)
        • Терпеливый Монстр
          Терпеливый Монстр
          был момент она вообще как то дешего стоила, 20-22г, тоже волны как с видяхами Ответить
    • Терпеливый Монстр
      Терпеливый Монстр
      Comment media
      я думаю можно за 20к найти с китая Ответить
      раскрыть ветку (7)
      • Раздражительный Жираф
        Раздражительный Жираф
        может тряхнуть стариной и собрать себе какой-то сервак домой, а то чё я по 200-300 баксов за одну машину башляю Ответить
        раскрыть ветку (6)
        • Чесночный Минотавр
          Чесночный Минотавр
          А че нет Ответить
        • Терпеливый Монстр
          Терпеливый Монстр
          и на гранту пересесть Ответить
          раскрыть ветку (4)
          • Раздражительный Жираф
            Раздражительный Жираф
            я жирный, мне будет неудобно Ответить
            раскрыть ветку (3)
            • Терпеливый Монстр
              Терпеливый Монстр
              это же плюс, мотивация туда залезть будет Ответить
              раскрыть ветку (2)
              • Раздражительный Жираф
                Раздражительный Жираф
                я к вентиляции сидушек уже привык Ответить
                раскрыть ветку (1)
                • Терпеливый Монстр
                  Терпеливый Монстр
                  массажный чехол постелишь, деревянный такой) Ответить
  • Долинный Гранат
    Долинный Гранат
    Простите, но это похоже на фейк. Не может на таком железе такая модель так быстро работать. Она занимает 490гб. Даже если учесть, что не сразу все включаются все веса, ну как минимум 250гб на первый прогон требуется. У него ни памяти в видео ни оперативки на это не хватает. Ssd не может вытянуть такой скорости.
    Это какой-то звиздешь. Ответить
  • Долинный Гранат
    Долинный Гранат
    Кроме того ollama не параллелит вычисление. Либо vram+gpu, либо ram+cpu. Решения выстраивания очереди ssd - ram - vram не нашел. А уж параллельное вычисление между cpu and gpu нормального нет, потому что 1. Рост ошибок растет и cuda падает или пересчитывает 2. Общая скорость падает на одно и нужно слишком много думать о синхронизации.

    В общем, либо это фейк чистой воды, либо чувак сделал невозможное и написал свой софт чтобы все работало, не падало и каким-то образом ускорилось. Ответить