Интересная возможность - можно найти китайские графические ускорители с 96 гигабайтами видеопамяти меньше чем за две тысячи долларов, а у Nvidia такие же жирные модели стоят от 10к, причём это только по минималке, например RTX 6000 PRO.

Вот спецификация Huawei Atlas 300i Duo: 280 TOPS INT8, 140 TFLOPS FP16, память LPDDR4x до 96GB, 408 GB/s, 150 Вт TDP. На картинке она.

Правда разработчики жалуются на сырость драйверов и необходимость перепиливать модели под китайские софтовые стеки. Но, думаю, ситуацию поправят.

Русский ИТ бизнес