Telega.FM Лента новостей из телеграмм по темам
Новое Горячее Лучшее
Русский ИТ бизнес
Русский ИТ бизнес
11 ноя 2025 09:23
Post media

Что люди делают...

Чел собрал несколько стоек с комбинацией видеокарт: б/у RTX 3090, новые 4090 и 5090, плюс профессиональные RTX 6000. Материнские платы от ASUS на базе Threadripper позволяют установить до семи карт, но обычно ставит шесть для парного режима. Питается от 240 вольт для лучшей эффективности блоков питания. Обрабатывают от 70 миллионов до 120 миллионов токенов в день, а сейчас уже ближе к 330 миллионам. Используют софт vLLM для разных моделей, от 7 миллиардов до 70 миллиардов параметров...

Пишут, что локальные ИИ все равно выгоднее облачных сервисов, даже с учетом падения цен на API. По потреблению ля стойки на шесть карт разумно закладывать от ~2 до ~4 кВт на GPU плюс запас на платформу и охлаждение. Скорее около 5 кВт.

А еще эта штука шумит :)

Русский ИТ бизнес
0
👍 0
0
  • Стеклянный Наемник
    Стеклянный Наемник
    А как применяет-то? Это ж самое интересное 🙂
    • Терпеливый Монстр
      Терпеливый Монстр
      дедов на стеклянных велосипедах на ютуб заливает
  • Тающий Бог
    Тающий Бог
    Самое сложное - это охлаждение всей этой хераборы. Ладно зимой окно открыл и норм, а вот летом без хорошего кондея никак. А ещё там постоянно что-то ломается или зависает + постоянно нужно чистить от пыли, соответственно нужен человек для обслуживания. Так что не стоит думать, что содержание своего технопарка - это легко и дёшево
    • Пепельный Червь
      Пепельный Червь
      Зимой водянку и к контуру отопления в доме 😄
      • Тающий Бог
        Тающий Бог
        Можно и так, но это кастомный продукт. Теплообменники делают под заказ за большие деньги. Плюс нужен специалист, кто в теме, а таких мало
    • Голографический Пёс
      Голографический Пёс
      Почти в любом случае лучше работает сброс тепла на улицу, чем охлаждение кондиционером.
      Исключение может быть, только если за бортом температура очень высокая.
      Но если не выше 35, то все будет с обычной вытяжкой. Важно, чтобы ее производительности хватало.
      • Тающий Бог
        Тающий Бог
        Нужно и то и другое. Одна карточка выдает около 0,5 кВт тепла. Начиная с 10 штук уже требуется серьезный подход к охлаждению, иначе будут быстро деградировать из-за постоянного перегрева
        • Голографический Пёс
          Голографический Пёс
          Про деградацию это все херня.
          Современные чипы годами в майгнинге фигачат и не деградируют.
          • Тающий Бог
            Тающий Бог
            Годами - это 2-3 года и на помойку 🙈 У меня был опыт по организации фермы, так что знаю не понаслышке
  • Лохматый Осьминог
    Лохматый Осьминог
    А что по электроэнергии в +- рублях? Не будет ли караться как за майнинг?
  • Тающий Носорог
    Тающий Носорог
    на счет электричества полный ездеж...