Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Признавайтесь, кто мечтает купить h100? Цена на Авито - 2.5 млн. руб. (без гарантии качества).

Что вам даст такая карта? Qwen 110B и LLaMA 3.3 70B = 20 токенов (40 символов) в секунду при таких больших ИИ... Надо ли? Вопрос открытый, но для систем, которые обрабатывает очень чувствительные данные и только локально - вполне себе.

Например, вы делаете RAG для внутренних документов компании. А можно h200 еще взять - 3 млн. руб. (+42% увеличение производительности: до 31 токенов/сек против 22 на H100).

Русский ИТ бизнес
0/8 Открыть в Telegram

Комментарии (0)

  • mtrnkwas
    Я мечтаю купить Nvidia Pro 6000 96 GB - примерно $10000 у нас в Америке.
    • noobmaster111
      Crysis потянет?
      • SilaMisli
        Экономический?
        • noobmaster111
          ну ... типа 😀
  • alexy_os
    Уже не надо qwen gpt oss бьет все бенчмарки https://t.me/bezsmuzi/10729 и вот под gpt oss прикупить h100 однозначно стоит кто не хочет палить корпоративные данные
  • sanjoxin
    А че у нее с лицом?
  • SilaMisli
    Кстати если кому интересны результаты новых GPT моделей от OpenAi на 5090 карте:

    20В

    total duration: 8.4960423s
    load duration: 38.4008ms
    prompt eval count: 73 token(s)
    prompt eval duration: 503.8953ms
    prompt eval rate: 144.87 tokens/s
    eval count: 1099 token(s)
    eval duration: 7.9537462s
    eval rate: 138.17 tokens/s

    120В

    total duration: 4m0.6657461s
    load duration: 41.8852ms
    prompt eval count: 73 token(s)
    prompt eval duration: 681.0137ms
    prompt eval rate: 107.19 tokens/s
    eval count: 1555 token(s)
    eval duration: 3m59.9423444s
    eval rate: 6.48 tokens/s
    • GroupAnonymousBot
      Скажем так не быстро
      • SilaMisli
        Может надо что-то еще настраивать.. хз.
        Я в целом олламу обновил и установил.
        Насколько я понял половина 120В ушла в оперативную память. Там около 50гб заполнилось.
        А GPU нагрузалась процентов на 40% всего
  • luxeweb3
    Я подумал девушка за 2,5 продается 🍸
    • dmaltt
      Дорого
  • YurikZebrov
    Ждём Интел, 192gb за 6-10к
    • Ut4J6
      рублей
      • YurikZebrov
        Карта с 12gb стоит $350 (вообще $250 но в наших краях по факту так), у меня 6 таких карт в двух компах, т.е. за $2000 получаю 72gb памяти, ожидается что будут карты по 24гб стоимостью - общественность надеется 500-700 долл, и их можно в кластер до 8 штук, то есть за 6000 192гб
        • Ut4J6
          Знаете, мне это напоминает разговоры бурить скважину или подключать водопровод.
          Я пока склоняюсь к "скважине" - мне qwen3:1.7b новости сортирует на хостинге за 150 руб, и думаю сможет рерайтить, мозгов хватит
        • mtrnkwas
          Через nvlink?
          • YurikZebrov
            Не, в том и проблема, пока работают как отдельные : есть задачи которые так можно, но от Интела ждут как минимум ПО которое объединит, иначе не было бы ограничения в 8 карт , ну и возможно железо... Отдельно проблема что дома, видимо, не поставишь - там турбины, много децибел, ну будем смотреть варианты - балкон и все такое