Kimi K2.6 теперь запускается почти на любом устройстве

Kimi K2.6 теперь запускается почти на любом устройстве.

Модель на 1 триллион параметров сжата до 340 ГБ через Dynamic GGUF. Рабочий компромисс, не требующий кластера из сотен GPU.

Запуск возможен на CPU, GPU и SSD. Скорость >40 токенов/сек при ~350 ГБ RAM/VRAM. Полная точность требует 610 ГБ.

Первый случай доступности модели такого масштаба вне датацентров.

Гайд: https://unsloth.ai/docs/models/kimi-k2.6
GGUF: https://huggingface.co/unsloth/Kimi-K2.6-GGUF

🟪 MAX ❤ TG

3 162

👍 18

Комментарии (20)

Аристократичный Шаман 2026-04-23 17:22

всего 340 гигов, у меня вот на балконе завалялось столько Ответить
Авангардный Гигант 2026-04-23 17:23

Запустил вчера ее на роботе пылесосе... Ответить

раскрыть ветку (1)
- Добрый Павлин 2026-04-23 17:30
  
  А память он сам добирал по углам🤣 Ответить
Сумеречный Архитектор 2026-04-23 17:24

А кто-то из местных Roo code в vscode использует? Ответить

раскрыть ветку (5)
- Лохматый Осьминог 2026-04-23 17:24
  
  использую Ответить
  
  раскрыть ветку (4)
  - Сумеречный Архитектор 2026-04-23 17:25
    
    Мне пишет мало токенов для моей задачи на free моделях от openRouter
    Покупаете api платных? Ответить
    
    раскрыть ветку (3)
    - Чесночный Режиссер 2026-04-23 17:27
      
      Открою вам тайну. Ключевые слова Ollama qwen cloud Ответить
    - Лохматый Осьминог 2026-04-23 17:27
      
      у фри опенроутера не большой лимит. погуглите omniroute. там пока клод (правда не топовый) бесплатно. мне хватает Ответить
      
      раскрыть ветку (1)
      - Сумеречный Архитектор 2026-04-23 17:28
        
        Ого спасибо, а то мне железяка ничего не подсказал))) Ответить
Чесночный Режиссер 2026-04-23 17:26

а я несколько агентов параллельно в CLI запускаю. В VS code поди так не получится? Ответить

раскрыть ветку (6)
- Сумеречный Архитектор 2026-04-23 17:26
  
  Что такое cli? Как его запускать? Что за агенты?
  
  Просто тоже хочу понять как несколько агентов юзать Ответить
  
  раскрыть ветку (5)
  - Чесночный Режиссер 2026-04-23 17:28
    
    Ответить
    
    раскрыть ветку (4)
    - Сумеречный Архитектор 2026-04-23 17:28
      
      Спасибо, гляну Ответить
      
      раскрыть ветку (3)
      - Чесночный Режиссер 2026-04-23 17:29
        
        если задачки не сильно сложные бесплатная minimax 2.5 может сгодится Ответить
        
        раскрыть ветку (2)
        
        Сумеречный Архитектор 2026-04-23 17:30
        
        Да и по разному, не особо, просто ищу соотношение цена качество. Пока на glm 4.5 плачу за api по 3$
        Мне для пробы надо генератор ui Ответить
        
        Сумеречный Архитектор 2026-04-23 17:31
        
        Спасибо, учту Ответить
Ночной Зомби 2026-04-23 17:35

Щас запущу свой Altair 8800 там как раз места на две такие Ответить
Сквознячный Судья 2026-04-23 20:41

Да, 4 H200 нормально затащат. Ляма полтора в месяц. Ответить

раскрыть ветку (1)
- Сквознячный Судья 2026-04-23 20:43
  
  Хотя вру. Даже 4 rtx 6000 pro. Ну 600-700к в месяц, ОК. Ответить
Взрослый Андроид 2026-04-24 11:38

Запуск на ssd? 🤨 Ответить