Киловатт-hour на токен: реальный расчет

Киловатт-hour на токен: реальный расчет. EPYC 9654 + 4x RTX 4090 = 2.4 кВт. Нагрузка 10M токенов в день на Qwen-72B-AQ4: 45 tok/s стабильно. Электричество: $210/мес. Azure OpenAI GPT-4o на том же трафике: $9,300/мес :)

А вот в Китае можно брать 40 млн. токенов за 3-4$. Все будет через пару недель на 1app.ru.

tg / max

2 864

👍 1

Комментарии (13)

Глухой Кот 2026-09-16 17:46

вы наивны как зубочистка Ответить

раскрыть ветку (1)
- Автор канала 2026-09-16 17:47
  
  как блоггер. Ответить
Романтичный Попугай 2026-09-16 17:50

На указанном сайте что, информацию не обновляли больше года? В моделях заявлены как топовые GPT-4o и o3, Claude 3.7.... Ответить

раскрыть ветку (2)
- Автор канала 2026-09-16 17:54
  
  будет скоро актуальная инфа. пока это заглушка. Ответить
  
  раскрыть ветку (1)
  - Топающий Скелет 2026-09-16 20:38
    
    по ценам тоже? или цены актуальные? Ответить
Вибрирующий Бард 2026-09-16 17:54

Максим, мне вот как раз как активному пользователю ИИ в работе тоже интересно. Вы говорите о Sol за 3-4 $ в день через прокси, но на сайте
1) Цены совершенно не такие
2) Модели древние

Как это бьется? Ответить

раскрыть ветку (3)
- Автор канала 2026-09-16 17:54
  
  никак не бьъется. мы прикручиваем к сайту актуальные цены по АПИ от Китая, которые зараза динамические Ответить
  
  раскрыть ветку (2)
  - Вязаный Дирижер 2026-09-16 19:27
    
    когда не знаешь, как пишется слово, перестраховался и поставил все знаки из алфавита. 😂 Ответить
    
    раскрыть ветку (1)
    - Раздражительный Жираф 2026-09-16 19:28
      
      он там ê пропустил Ответить
Вибрирующий Бард 2026-09-16 17:54

А там будет дешевый, но лагающий Sol? Ответить

раскрыть ветку (2)
- Солёный Инспектор 2026-09-16 17:57
  
  И Astra? 😊 Ответить
- Автор канала 2026-09-16 17:58
  
  будет да. мы уже тестируем командой. сегодня с трудом сожгли 10$ всей бандой. я на астре Ответить
Лохматый Осьминог 2026-09-16 21:45

45 токенов в секунду дают около 3,9 млн в сутки, даже если молотить без остановки. До 10 млн дойдёте только батчингом в несколько потоков, а на 4090 с 72B скорость на поток при этом проседает. И амортизации в расчёте нет, а за три года на такой сборке она больше счёта за электричество. Ответить