Telega.FM Лента новостей из телеграмм по темам
Новое Горячее Лучшее
Русский ИТ бизнес
Русский ИТ бизнес
14 ноя 2025 10:47
Post media

Что делают ИИ- энтузиасты. Запустили модель уровня Kimi k2 думающую на обычном ПК. Скорость 0.5 токена в секунду (2 слова в секунду). Зато все конфиденциально :)

Говорю же - это хобби. История не прикладная.

Русский ИТ бизнес
0
👍 0
0
  • Матовый Сыщик
    Матовый Сыщик
    Обычный комп домашний на 128гб оперативки. Ничего не обычного. Все очень обычно.
    • Раздражительный Жираф
      Раздражительный Жираф
      да у мака сейчас даже на ноутах до 128
      • Чесночный Минотавр
        Чесночный Минотавр
        Ну ты ж знаешь эти, как их там: депрессия, торг, принятие. Эпел сначала делает, а всем остальным надо пройти все стадии, чтобы нормально воспринималось😆
        • Терпеливый Монстр
          Терпеливый Монстр
          был момент она вообще как то дешего стоила, 20-22г, тоже волны как с видяхами
    • Терпеливый Монстр
      Терпеливый Монстр
      Comment media
      я думаю можно за 20к найти с китая
      • Раздражительный Жираф
        Раздражительный Жираф
        может тряхнуть стариной и собрать себе какой-то сервак домой, а то чё я по 200-300 баксов за одну машину башляю
        • Чесночный Минотавр
          Чесночный Минотавр
          А че нет
        • Терпеливый Монстр
          Терпеливый Монстр
          и на гранту пересесть
          • Раздражительный Жираф
            Раздражительный Жираф
            я жирный, мне будет неудобно
            • Терпеливый Монстр
              Терпеливый Монстр
              это же плюс, мотивация туда залезть будет
              • Раздражительный Жираф
                Раздражительный Жираф
                я к вентиляции сидушек уже привык
                • Терпеливый Монстр
                  Терпеливый Монстр
                  массажный чехол постелишь, деревянный такой)
  • Долинный Гранат
    Долинный Гранат
    Простите, но это похоже на фейк. Не может на таком железе такая модель так быстро работать. Она занимает 490гб. Даже если учесть, что не сразу все включаются все веса, ну как минимум 250гб на первый прогон требуется. У него ни памяти в видео ни оперативки на это не хватает. Ssd не может вытянуть такой скорости.
    Это какой-то звиздешь.
  • Долинный Гранат
    Долинный Гранат
    Кроме того ollama не параллелит вычисление. Либо vram+gpu, либо ram+cpu. Решения выстраивания очереди ssd - ram - vram не нашел. А уж параллельное вычисление между cpu and gpu нормального нет, потому что 1. Рост ошибок растет и cuda падает или пересчитывает 2. Общая скорость падает на одно и нужно слишком много думать о синхронизации.

    В общем, либо это фейк чистой воды, либо чувак сделал невозможное и написал свой софт чтобы все работало, не падало и каким-то образом ускорилось.