Русский ИТ бизнес 👨
Подписаться
Post media
8x RTX Pro 6000 - сборка. Вот что получилось: 768 GB VRAM + 8x RTX Pro 6000 (4 Workstation, 4 Max-Q) + Threadripper PRO 9955WX + 384 GB RAM...

Монстрик, локальный. До 100 токенов в секунду (300 символов) на реально могучих ИИ (GLM).

Точной цены автор не назвал. В комментариях люди прикидывают, что 8 таких карт это примерно 80 000 долларов только за GPU, а сам автор отдельно сравнивает, что система уровня B200 с похожим объёмом VRAM выходит примерно 300 000–400 000 долларов. Дорогое хобби, надо признать.

Русский ИТ бизнес

Комментарии (0)

  • BTZ_KUS
    Может кому-то надо не для хобби,а для работы)
    • GroupAnonymousBot
      а зачем? ну реально.
      • IP2DB
        Максим. А вот по поводу аустаффа, была на ютубе кое какая инфа у вас, а вот где посмотреть(почитать) более подробнее понять как это работает с нуля?
        • GroupAnonymousBot
          ну я не знаю. аутстаффом редко занимаемся.
          • IP2DB
            Как такие отношения оформляются с юридической точки зрения, может где-то в ролике есть подробнее?
      • BTZ_KUS
        в любой финансовой или аудиторской организации работа с персональными и конфиденциальными данными ограничивает работу с облаками. Как только безопасник услышит "облако" так сразу прикинут, что любая утечка или просто проверка со стороны ЦБ и так сразу такие штрафы, что это железка покажется мелочью. Это наболевшее и типа заключить договор с ЦОДом и они ограничат у себя на стойке место под твои железки и в итоге танцы с бубнами или сто проверок от безопасников. Для маркетологов все как бы просто - облако дешевле)) Но не все так просто.
        • GroupAnonymousBot
          Gigachat? данные локально в РФ.
          • BTZ_KUS
            Не. Так не работает. Есть тонна положений - считай законов от ЦБ о работе с данными для финансовых и прочих компаний. Любая утечка скажем решения совета директоров это миллиарды на бирже. В аудите вот например и в банках использование гигачата это слив конфиденциальной информации -"просто потому что", а не "пойди докажи". Если такое заявишь тут же пойдешь искать работу по статье
            • GroupAnonymousBot
              тогда самое простое арендовать gpu. но не делать свои сборки
              • BTZ_KUS
                вероятно тут не пожалеют денег если польза от ллм очевидна. Самое странное что не всем очевидно