Блин, веселят подобные посты - Kimi K3 стала бесплатной

Блин, веселят подобные посты - «Kimi K3 стала бесплатной! Теперь ее можно запустить на домашнем сервере!»... :)

Вы с математикой вообще не дружите? Модель весит 2.8 триллионов параметров и вам понадобится чуть менее 100 видеокарт RTX 5090, что в среднем обойдется в полмиллиона долларов. Услышали звон, да не знают где он и репостят как дятлы. Мы в свое время поигрались с локальным запуском ИИ - моделей, продали карты и перекрестились.

tg / max

1 486

👍 14

Комментарии (17)

Озябший Мастер 2026-07-28 14:41

локальный инференс ЛЛМ\СЛМ это отдельное красноглазие. Под это есть уже отдельные специалисты: LLM OPS которые владеют этим ДАО. Там такой немалый пласт знаний и опыта нужен, как эффективно выполнять инференс ИИ моделей Ответить
Речной Посол 2026-07-28 14:43

Достаточно 4-6 mac studio m3 ultra 512 гб. Но это тоже не дешево)) Ответить

раскрыть ветку (2)
- Автор канала 2026-07-28 15:00
  
  1 токен в минуту? :) Ответить
- Оранжевый Сухарь 2026-07-28 15:01
  
  нельзя объединять память в таком случае, только вычислительную мощность Ответить
Сумеречный Наемник 2026-07-28 14:51

Я посчитал, надо примерно $3М дома запустить Ответить
Степной Декан 2026-07-28 16:19

Локальные уж, под простенькие задачи вполне себе, транскрибации, переложить документ в маркдаун и тд. Понятно, что серьёзная работа на больших моделях, но локальные микросервисы имеют место жить ) Ответить
Жестокий Вампир 2026-07-28 16:35

У меня локальная на домашнем ПК работает на 3060 и 80 гигов памяти , звезды с неба не хватает, но для практики освоения что это такое и определенных задач вполне себе. Ответить

раскрыть ветку (6)
- Скользкий Ящер 2026-07-28 18:20
  
  как генерятся долго sd видосы? картинки? вроде же минмум 4060 super над? Ответить
  
  раскрыть ветку (5)
  - Жестокий Вампир 2026-07-28 19:16
    
    мне буковки гонять , чисто для внутренего пользования , медленная штука , буквально минуты уходят на размышления. Ответить
    
    раскрыть ветку (4)
    - Скользкий Ящер 2026-07-28 19:19
      
      разве внешный аи не намного умнее???? у глупого слишком много переделок. итог в разы дольше Ответить
      
      раскрыть ветку (3)
      - Жестокий Вампир 2026-07-28 19:21
        
        я ж написал что для опытов , я иллюзий не питаю , для работы внешний AI юзаю. Ответить
        
        раскрыть ветку (2)
        
        Скользкий Ящер 2026-07-28 19:22
        
        тупые аи тоже можэно поюзать облачно. локалки. ... ест ьагрегаторы. не помню. мини супермини попробовать... Ответить
        
        раскрыть ветку (1)
        
        Жестокий Вампир 2026-07-28 19:24
        
        я со своего железа хотел максимум пользы выжать , заодно попрактиковаться в еботе с llm , определенные вещи лучше в голове оседают если их самому руками делать. Ответить
Кофейный Паук 2026-07-28 16:37

Всего то надо пару мини маков) Ответить
Полуночный Архитектор 2026-07-28 19:20

мой вывод тот же - не окупится, даже если продавать доступ. Тут только если нужно прям чтобы данные никуда не утекали, но нужны миллионы... Ответить

раскрыть ветку (2)
- Скользкий Ящер 2026-07-28 19:21
  
  без млн прям глупые аи с глупыми ошибками, да? тока геенрить видосы картинки максимум? или и то плохо? Ответить
  
  раскрыть ветку (1)
  - Полуночный Архитектор 2026-07-28 19:25
    
    я на 4080 Super 16GB + 128 RAM на QWEN 3.6 27В в кодинге получал постоянные слеты в таймауты и предложения переключиться на Соннет 4.5, но пофиг, заставим делать... скорость в 3-7 т/с, это мне он просто тупо выводить будет месяц без остановки то, что DeepSeek V4 pro выплевывает за 3 минуты Ответить