Что люди делают...

Чел собрал несколько стоек с комбинацией видеокарт: б/у RTX 3090, новые 4090 и 5090, плюс профессиональные RTX 6000. Материнские платы от ASUS на базе Threadripper позволяют установить до семи карт, но обычно ставит шесть для парного режима. Питается от 240 вольт для лучшей эффективности блоков питания. Обрабатывают от 70 миллионов до 120 миллионов токенов в день, а сейчас уже ближе к 330 миллионам. Используют софт vLLM для разных моделей, от 7 миллиардов до 70 миллиардов параметров...

Пишут, что локальные ИИ все равно выгоднее облачных сервисов, даже с учетом падения цен на API. По потреблению ля стойки на шесть карт разумно закладывать от ~2 до ~4 кВт на GPU плюс запас на платформу и охлаждение. Скорее около 5 кВт.

А еще эта штука шумит :)

Русский ИТ бизнес