Русский ИТ бизнес
Русский ИТ бизнес
Post media

8x RTX Pro 6000 - сборка. Вот что получилось: 768 GB VRAM + 8x RTX Pro 6000 (4 Workstation, 4 Max-Q) + Threadripper PRO 9955WX + 384 GB RAM...

Монстрик, локальный. До 100 токенов в секунду (300 символов) на реально могучих ИИ (GLM).

Точной цены автор не назвал. В комментариях люди прикидывают, что 8 таких карт это примерно 80 000 долларов только за GPU, а сам автор отдельно сравнивает, что система уровня B200 с похожим объёмом VRAM выходит примерно 300 000–400 000 долларов. Дорогое хобби, надо признать.

Русский ИТ бизнес
  • Топающий Скелет
    Топающий Скелет
    Может кому-то надо не для хобби,а для работы)
    • Автор канала
      Автор канала
      а зачем? ну реально.
      • Сонный Голубь
        Сонный Голубь
        Максим. А вот по поводу аустаффа, была на ютубе кое какая инфа у вас, а вот где посмотреть(почитать) более подробнее понять как это работает с нуля?
        • Автор канала
          Автор канала
          ну я не знаю. аутстаффом редко занимаемся.
          • Сонный Голубь
            Сонный Голубь
            Как такие отношения оформляются с юридической точки зрения, может где-то в ролике есть подробнее?
      • Топающий Скелет
        Топающий Скелет
        в любой финансовой или аудиторской организации работа с персональными и конфиденциальными данными ограничивает работу с облаками. Как только безопасник услышит "облако" так сразу прикинут, что любая утечка или просто проверка со стороны ЦБ и так сразу такие штрафы, что это железка покажется мелочью. Это наболевшее и типа заключить договор с ЦОДом и они ограничат у себя на стойке место под твои железки и в итоге танцы с бубнами или сто проверок от безопасников. Для маркетологов все как бы просто - облако дешевле)) Но не все так просто.
        • Автор канала
          Автор канала
          Gigachat? данные локально в РФ.
          • Топающий Скелет
            Топающий Скелет
            Не. Так не работает. Есть тонна положений - считай законов от ЦБ о работе с данными для финансовых и прочих компаний. Любая утечка скажем решения совета директоров это миллиарды на бирже. В аудите вот например и в банках использование гигачата это слив конфиденциальной информации -"просто потому что", а не "пойди докажи". Если такое заявишь тут же пойдешь искать работу по статье
            • Автор канала
              Автор канала
              тогда самое простое арендовать gpu. но не делать свои сборки
              • Топающий Скелет
                Топающий Скелет
                вероятно тут не пожалеют денег если польза от ллм очевидна. Самое странное что не всем очевидно