Telega.FM Лента новостей из телеграмм по темам
Лучшее Горячее Новое
Русский ИТ бизнес
Русский ИТ бизнес
17 мар 2026 11:26
Post media

Для соло-использования или небольшого проекта одна H200 - это абсолютный, недостижимый оверкилл

Для соло-использования или небольшого проекта одна H200 - это абсолютный, недостижимый оверкилл.

В реальной индустрии такие карты почти никогда не работают по одной: чтобы создать ИИ уровня GPT-4 или запустить гигантов вроде Llama 3.1 405B, их собирают в кластеры по 8 штук, объединяя мостами NVLink.

А цена карты в ДНС 4.3 млн. руб. - можно купить студию в Мурино (хотя... боюсь не хватит). @bezsmuzi
2 602
👍 8
22

Комментарии (22)

  • Авангардный Гигант
    Авангардный Гигант
    Надо импортозаместить и продавать по 500 рублей.
    • Авангардный Гигант
      Авангардный Гигант
      Байкал Н200. Звучит...
      • Авангардный Гигант
        Авангардный Гигант
        Хотя не. Лучше не Байкал, а Буратино.
        • Литой Коршун
          Литой Коршун
          Распил H200 - это таки да :)
  • Тупой Бог
    Тупой Бог
    А есть примеры, у кого в РФ получилось так сделать? Просто интересно, реально ли такое где то работает
    • Озадаченный Андроид
      Озадаченный Андроид
      Есть провайдеры у нас, продающие ГПУ.
  • Сквознячный Судья
    Сквознячный Судья
    А смысл? Ну если уж прям хочется, можно запустить на 4х китайских 4090 по 48 Гб qwen coder и затюнить под себя. Будет примерно sonnet 4.5. Только, как говорится: "Можно, а зачем?"
    • Кофейный Кузнец
      Кофейный Кузнец
      https://serverict.com/supercomputers/nvidia/nvidia-dgx-spark-gb10/

      Вот бюджетный вариант
      • Сквознячный Судья
        Сквознячный Судья
        И как оно? Что может затащить?
        • Кофейный Кузнец
          Кофейный Кузнец
          Qwen coder next тащит на 5 разрабов. Оно имеет преимущество 128 гб видеопамяти, что позволяет большие модели держать, но низкая скорость памяти, при большом контексте first token может быть долгим
          • Сквознячный Судья
            Сквознячный Судья
            Так круто тогда.
      • Оранжевый Ученый
        Оранжевый Ученый
        Ещё бюджетнее GMKtec EVO-X2
      • Суровый Официант
        Суровый Официант
        Их можно а кластер до 4 устройств объединять. Вчера nvidia релизнула nemoclaw в том числе чтобы использовать локальные модельки крупные на этом железе.
  • Озадаченный Андроид
    Озадаченный Андроид
    Для личного пользования конечно достаточно rtx pro 6000 96gb
  • Озадаченный Андроид
    Озадаченный Андроид
    В 3 раза дешевле
  • Тактичный Дроид
    Тактичный Дроид
    Важно учесть, что для экономического эффекта требуется мультитаскинг.
    Это значит, что надо поднять не одну LLM, а как минимум 5 штук.
    Умножайте смело ещё на 5.
    И тут Опен Аи говорит:
    "Вот такие подарки делаем мы, добрые маги" хором с Антропик
    Это уравновешивает другую чашу весов на которой релокация в регион где облако точно будет доступно
    Так что если отключат облако- всё. Мы приплыли
  • Коралловый Ворон
    Коралловый Ворон
    А вообще забавно: мы тут иронизируем про «Буратино» и импортозамещение, хотя по факту через пару лет единственным востребованным навыком будет умение конкурировать с моделями, обученными на таких вот кластерах, которые принимают решения быстрее, чем мы успеваем моргнуть
    • Алый Повар
      Алый Повар
      Через пару лет нужен будет навык писания кода в блонкноте на флешке и передача ножками в отдел деплоя.
      • Коралловый Ворон
        Коралловый Ворон
        Уф, старые добрые перфокарты) Один придумывает задачу, другой ее пишет, а третий деплоит 😎
  • Тёмный Геймер
    Тёмный Геймер
    NVIDIA в 7000 раз медленнее чем cerebras?
    https://www.youtube.com/shorts/iro_qmqSNr8
  • Тёмный Геймер
    Тёмный Геймер
    Один чип вместо тысяч серверов, или глобальный конкурент Nvidia
    https://habr.com/ru/articles/974384/
  • Коралловый Ворон
    Коралловый Ворон
    Которые сушки не просят и как северные корейцы готовы работать, да