Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Post media
Что люди делают...

Чел собрал несколько стоек с комбинацией видеокарт: б/у RTX 3090, новые 4090 и 5090, плюс профессиональные RTX 6000. Материнские платы от ASUS на базе Threadripper позволяют установить до семи карт, но обычно ставит шесть для парного режима. Питается от 240 вольт для лучшей эффективности блоков питания. Обрабатывают от 70 миллионов до 120 миллионов токенов в день, а сейчас уже ближе к 330 миллионам. Используют софт vLLM для разных моделей, от 7 миллиардов до 70 миллиардов параметров...

Пишут, что локальные ИИ все равно выгоднее облачных сервисов, даже с учетом падения цен на API. По потреблению ля стойки на шесть карт разумно закладывать от ~2 до ~4 кВт на GPU плюс запас на платформу и охлаждение. Скорее около 5 кВт.

А еще эта штука шумит :)

Русский ИТ бизнес
0/8 Открыть в Telegram

Комментарии (0)

  • molotoffff
    А как применяет-то? Это ж самое интересное 🙂
    • s17471s
      дедов на стеклянных велосипедах на ютуб заливает
  • gtoplayer
    Самое сложное - это охлаждение всей этой хераборы. Ладно зимой окно открыл и норм, а вот летом без хорошего кондея никак. А ещё там постоянно что-то ломается или зависает + постоянно нужно чистить от пыли, соответственно нужен человек для обслуживания. Так что не стоит думать, что содержание своего технопарка - это легко и дёшево
    • rznvlxndr
      Зимой водянку и к контуру отопления в доме 😄
      • gtoplayer
        Можно и так, но это кастомный продукт. Теплообменники делают под заказ за большие деньги. Плюс нужен специалист, кто в теме, а таких мало
    • Ulyanov_pavel
      Почти в любом случае лучше работает сброс тепла на улицу, чем охлаждение кондиционером.
      Исключение может быть, только если за бортом температура очень высокая.
      Но если не выше 35, то все будет с обычной вытяжкой. Важно, чтобы ее производительности хватало.
      • gtoplayer
        Нужно и то и другое. Одна карточка выдает около 0,5 кВт тепла. Начиная с 10 штук уже требуется серьезный подход к охлаждению, иначе будут быстро деградировать из-за постоянного перегрева
        • Ulyanov_pavel
          Про деградацию это все херня.
          Современные чипы годами в майгнинге фигачат и не деградируют.
          • gtoplayer
            Годами - это 2-3 года и на помойку 🙈 У меня был опыт по организации фермы, так что знаю не понаслышке
  • Channel_Bot
    А что по электроэнергии в +- рублях? Не будет ли караться как за майнинг?
  • zerohold
    на счет электричества полный ездеж...