8x RTX Pro 6000 - сборка. Вот что получилось: 768 GB VRAM + 8x RTX Pro 6000 (4 Workstation, 4 Max-Q) + Threadripper PRO 9955WX + 384 GB RAM...
Монстрик, локальный. До 100 токенов в секунду (300 символов) на реально могучих ИИ (GLM).
Точной цены автор не назвал. В комментариях люди прикидывают, что 8 таких карт это примерно 80 000 долларов только за GPU, а сам автор отдельно сравнивает, что система уровня B200 с похожим объёмом VRAM выходит примерно 300 000–400 000 долларов. Дорогое хобби, надо признать.
Русский ИТ бизнес
-
Может кому-то надо не для хобби,а для работы)-
а зачем? ну реально.-
Максим. А вот по поводу аустаффа, была на ютубе кое какая инфа у вас, а вот где посмотреть(почитать) более подробнее понять как это работает с нуля?-
ну я не знаю. аутстаффом редко занимаемся.-
Как такие отношения оформляются с юридической точки зрения, может где-то в ролике есть подробнее?
-
-
-
в любой финансовой или аудиторской организации работа с персональными и конфиденциальными данными ограничивает работу с облаками. Как только безопасник услышит "облако" так сразу прикинут, что любая утечка или просто проверка со стороны ЦБ и так сразу такие штрафы, что это железка покажется мелочью. Это наболевшее и типа заключить договор с ЦОДом и они ограничат у себя на стойке место под твои железки и в итоге танцы с бубнами или сто проверок от безопасников. Для маркетологов все как бы просто - облако дешевле)) Но не все так просто.-
Gigachat? данные локально в РФ.-
Не. Так не работает. Есть тонна положений - считай законов от ЦБ о работе с данными для финансовых и прочих компаний. Любая утечка скажем решения совета директоров это миллиарды на бирже. В аудите вот например и в банках использование гигачата это слив конфиденциальной информации -"просто потому что", а не "пойди докажи". Если такое заявишь тут же пойдешь искать работу по статье-
тогда самое простое арендовать gpu. но не делать свои сборки-
вероятно тут не пожалеют денег если польза от ллм очевидна. Самое странное что не всем очевидно
-
-
-
-
-
-
