Чувак собрал дома сервер за $40k, который крутит модель почти уровня Claude Opus

Чувак собрал дома сервер за $40k, который крутит модель почти уровня Claude Opus. И выложил весь гайд — от закупок на eBay до настроек BIOS с бифуркацией PCIe.

Внутри — два готовых сценария. За $2k берёшь пару RTX 3090, запускаешь Qwen3.6-27B и локальный Whisper для голоса. За $40k — 4x RTX 6000, 384GB VRAM и GLM-5.2 на 594B параметров через vLLM. Все docker-compose уже готовы, копипасть и запускай...

Честный минус: чтобы всё это заработало на максимальной скорости, придётся глубоко копать. PCIe-свитчи от c-payne, ручная настройка ASPM, отключение IOMMU, деревянный корпус собственного изготовления.

Готовы вложить 40k$? :)

https://github.com/jamesob/local-llm

tg / max

2 717

👍 16

Комментарии (27)

Межпространственный Лимонад 2026-07-06 09:40

Если это приносит прибыль и отбивается меньше чем за год, то почему бы и ДА Ответить
Межпространственный Лимонад 2026-07-06 09:41

И возможно чувак работает с критически важными данными, поэтому только свой сервак Ответить
Речной Посол 2026-07-06 09:43

Официальная максимальная подписка от z.ai на glm стоит гораздо дешевле, а дает гораздо больше токенов, чем такой сетап. И стоит $1300 в год без скидок. Плюс в ручных сетапах качество работы модели почти всегда сильно снижается. Имеет смысл только, чтобы не зависить от провайдера. Ответить
Механический Кот 2026-07-06 10:20

А как же RYZEN AI MAX+ или МАС STUDIO M3 ULTRA. Значительно дешевле же чем городить такое с ± схожим результатом Ответить

раскрыть ветку (10)
- Вязаный Дирижер 2026-07-06 23:13
  
  Ryzen слаб, примерно 50% производительности r9700, хотя память позволяет чего-то отплясать, с тем же gpt oss, но увы не с glm,
  
  А Мак вообще смешно : на реддите постоянно выплывают владельцы с 64 и даже 128 (или сколько там , 96 вроде Макс) охуевающие от медленной скорости - там им объясняют что память это ещё не всё Ответить
  
  раскрыть ветку (9)
  - Сквознячный Судья 2026-07-06 23:16
    
    Так конечно, ну и что, что модель в память лезет?:)
    Это же не значит, что работать будет, как на H100. Ответить
    
    раскрыть ветку (7)
    - Вязаный Дирижер 2026-07-06 23:18
      
      Я люблю маководов глушить вопросом: почему нет серверов на процессорах apple, но конечно это рахговор с самим собой 😁😁😁
      
      Чатгпт им говорит "а эппл не предлагает серверов" 😂 Ответить
      
      раскрыть ветку (6)
      - Глухой Кот 2026-07-06 23:21
        
        вот пжлст Ответить
        
        раскрыть ветку (1)
        
        Вязаный Дирижер 2026-07-06 23:28
        
        😂 да, на студио уже жлобятся 😂 Ответить
      - Сквознячный Судья 2026-07-06 23:29
        
        А вот у меня миник, кстати, как раз в качестве домашнего сервера для агентов:)
        Очень удобно, он бесшумный. Не потому, что я не умею сервера настраивать, мне так проекты удобно вести.
        Живет там Hermes и агент для телеги на обертке claude code.
        Но я на нем локальные модели ни разу не разворачивал - смысл? Ответить
        
        раскрыть ветку (3)
        
        Вязаный Дирижер 2026-07-06 23:39
        
        Ну, у меня тоже, два мирисфорума и два ноута по $650, но они от этого серверами не становятся 😁
        
        И дело не в том что я про проц на шасси: в конце концов Хецнер поначалу тоже тупо системники ставил, а в том что бизнес охуеет от доллар/выхлоп если попробует их загрузить круглосуточно
        
        Полирую обычно вопросом: где тачскрин, который года с 2019го используют в Win? Ибо для тачскрина тоже нужен свой проц, но вроде осенью Эппл наконец-то обещает ... Ответить
        
        раскрыть ветку (2)
        
        Сквознячный Судья 2026-07-06 23:56
        
        Dell с тачскрином у меня тоже есть:)
        Но вообще не прижился почему-то.
        И как охлаждение у минисфорумов? в том смысле, что можно ли их дома оставлять, чтобы не сгорели? Ответить
        
        раскрыть ветку (1)
        
        Вязаный Дирижер 2026-07-10 03:03
        
        Да,вполне, через год примерно растут вентилятор обороты - я пыль продул дуйкой но видимо надо рвзбирать, смотреть что там с термопастой, есть ещё материнка b795 или как там, там та же история через год, ну может два , видимо не замооачиваются с качественной Ответить
  - Зевающий Ленивец 2026-07-07 08:44
    
    Чет гонево про мак, на м5про с 64гб, модели 32b-40b выдают 60-80 токенов в сек, 40b правда не влазит нормально, с ограничениями. Ответить
Глухой Кот 2026-07-06 11:03

Это смешно, как экспертно преподносится. А на деле все, что сделано руками - плохо. Ибо:

Вот норм корпус, который можно объединять в башню: https://aliexpress.ru/item/1005005087430861.html?sku_id=12000031595378115&spm=a2g2w.productlist.search_results.10.4247545999gIcK
В материнке у него 7 слотов PCI-E x16, но вставил он все в 1 через дорогой адаптер. Можно было забить их копеечными рейзерами: https://aliexpress.ru/item/1005012235182505.html?sku_id=12000057815835972&spm=a2g2w.productlist.search_results.2.7e034c62O7xjHa

Человек просто переплатил за рукожопость.

PS Кулер дует в блок питания, зачем его повернули вместо потока назад - загадка. Ответить
Сквознячный Судья 2026-07-06 12:34

Так еще и локальный whisper - это что максимально ценное решение? эти stt модели всегда будут проигрывать мультимодальным моделям типа gemini по качеству распознавания текста, поскольку нечеткое распознавание и знаки препинания мультимодальная модель разрулит лучше. Ответить

раскрыть ветку (2)
- Лохматый Осьминог 2026-07-06 12:35
  
  Согласен, вместо 40$к долларов на сервер, мог просто установить себе Talkis и работать спокойно 😁 Ответить
  
  раскрыть ветку (1)
  - Радужный Ястреб 2026-07-06 20:36
    
    он уже перестал жрать память как не в себя? 20 гигов утечь без проблем может за день раза 3, даже скрипт написал который прибивает если больше 5 гиг опухнет Ответить
Суровый Официант 2026-07-06 18:38

Бомж-пакет: Qwen3.6-27B-NEO-CODE-HERE-2T-OT-Q6_K на 4xRTX3060Ti (подключены через 1xPCIe). Работает неспешно, но все равно гораздо быстрее, чем я (по ощущениям 3-7 токенов в секунду). К тому же круглосуточно. Небольшие проекты вполне себе осиливает. Для личных нужд хватает. Хотя с нуля я бы наверное все таки на 2x3090 смотрел, хоть это и в два раза дороже выходит. Ответить

раскрыть ветку (6)
- Радужный Ястреб 2026-07-06 20:46
  
  и голова не болит, про токены, можно такой план сделать - часов 10 работы Ответить
  
  раскрыть ветку (5)
  - Суровый Официант 2026-07-06 20:59
    
    Я частенько ставлю сложную задачу, прошу составить план работ, и выполнить план так, чтобы каждый пункт в отдельном контексте выполнялся. И вот эта новая модель на удивление неплохо справляется. Ответить
    
    раскрыть ветку (4)
    - Суровый Официант 2026-07-06 20:59
      
      А я иду спать в это время) Ответить
    - Сквознячный Судья 2026-07-06 22:45
      
      Так а все равно ж точность без adversarial проверок, калибровок будет не ОК? Ответить
      
      раскрыть ветку (2)
      - Сквознячный Судья 2026-07-06 22:47
        
        Какого уровня получается решать задачки? Ответить
      - Суровый Официант 2026-07-06 23:05
        
        Возможно, но у меня проекты почти целиком "внутренние", для себя чаще. Ну разве что форма обратной связи есть для общего доступа. Проверяю, что все работает, как ожидаю, и мне пока хватает. Ответить
Вязаный Дирижер 2026-07-06 23:10

С $40к вы опоздали: rtx 6000 действительно стоила $8000 в начале года, с апреля уже $9000 а с июня $11500 и говорят продают не всем, ушлые перекупы толкают за $12500 Ответить
Вязаный Дирижер 2026-07-06 23:17

Вообще rtx 6000 за 8000 стоила своих денег: альтернативно собирать кластер r9700 или b70, где 4 карты будут стоить 4-5к и внезапно нужен проц с поддержкой много pcie, а это Тредриппер, а ему своя rdimm за конскую цену и материнка: на круг выходит побольше 8000, ну конечно за 12000 ещё можно пободаться Ответить