Мне пишут - интересный опыт, разрешили поделиться запуском новой локальной ИИ от openAI. Цитирую:

"Макс, доброго времени. Протестировал новую открытую GPT. она прям очень впечатлила! они или что-то задумали, или где-то ошиблись и выложили прям убийцу самих себя..😂

по скорости вот на моей 3060 12G:
17.04 токенов/сек
6644 токенов
1.17 сек. до первого токена

и это на высшем уровне сложности размышления! задача была не простая, по кодингу, она сделала лучше даже чем оригинальный GPT.. поэтому я сильно удивился..

надо тестировать, интересно что там с контекстом в плане не размера а качества. а то размер это пук в воду, он может быть и миллион как у гугла а качества на 10к по итогу..😁 ну и надо почитать лицензию, возможно подвох в ней..

возможно регуляторы монопольные пнули, ибо все вдруг выкатили свое не большие модели с размышлением.😁

если она реально на столько хороша, то при 3090 api больше не надо!..😁 она в сжатии дает качество лучшее ее родителя оригинала бесплатного.."

Иными словами - достаточно средней карты и вы получаете очень умную локальную ИИ на вашем ПК. Потом еще поделюсь цифры - ребята пробуют...

Русский ИТ бизнес