Только за утро сжёг почти 300млн токенов, просто настраивая контекстную рекламу)
709864982
Ого
709864982
Я за прошлый год 550млн сжег на 4 проекта )))
saasonblood_admin
У меня просто claudecode как пиздюк, таблички пишет проверяет и так далее, и ещё по Api qwen3 coder, подбирает че нужно, правит где нужно и так далее.
709864982
А мне понравилось, как сказал Биглорян недавно, NVDA раздулась по капитализации и дает другим компаниям эйай деньги для покупки у них их же чипов. Ну, если это получит свои заказы 🤣 Но смогут ли все остальные это монетизировать?
Далее добавлю: А если сейчас китайцы выкатят опенсорс какой-нить хитрый, который будет локально херачить? Чипы все равно купят, а вот провайдеры мощностей могут пойти лесом.
saasonblood_admin
Так они уже сильно по цене продавливают, типо чуть чуть сложнее промт, и какая нить квин кодер, пишет не хуже claude код.
709864982
А если декомпозировать задачи и настроить агентный подход то и обычные модели могут выполнять вполне себе задачи
saasonblood_admin
Я думаю, если нормлаьно декомпозировать, плюс выбрать язык простой для понимания ллмки, то и локальная маленькая какая-то справится, дав ей инструмент запросов в интернет)
709864982
Можно дать доступ к мсп гитхаба , разных библиотек , проектов через contex7 или DeepWiki и прочие свистоперделки
EugenePeshkov
т.е. промка будет платить за нейрослоп с брейнротами? в таком случае подорожает вообще всё
AlexandrAdolfovih
Это тупиковое развитие ИИ. Нужно делать ИИ с меньшим энергопотреблением. Это путь как с компами в 60х годах, когда один комп - это целый дом с шкафами на лампах.
709864982
Причем некоторые задачи можно сильно оптимизировать, создав роутер, на котором будут кэшиться запросы до провайдера более слабой моделью и эмбендером, и если запрос похожий или уже был, роутер отдает ответ из кэша, таким образом на повторяющихся задачах, не требующих свежих данных, можно сильно экономить и жечь не токены модели ЛЛМ, а эмбендера, который в сотни раз дешевле. Но не везде опять же
alexy_os
Недавно словил в этом чате подсказку применять паттерн CQRS в больших проектах вайбкодинга и нагрузил грока как это реализовать и он предложил примерно такой, как вы описали подход с разделением правил и промптов на статичные и динамичные с умным фильтром в зависимости от текущего контекста или изолированного пакета делать невидимыми другие правила
Ещё курю этот подход. Но зерно определенно в этом есть чтобы не попадало в контекст лишнее инфо и юзать кэш, чтобы текущая разработка была узко сфокусирована на текущем пайплане
alexy_os
Если это отработать, включая тулзы типа mcp и кэш векторных данных, то младшие модели смогут решать базовые задачи на уровне старших, что сэкономит бюджет
И тогда красивые слова «мы подберем вам самую дешевую модель под вашу задачу» не будут звучать как профанация, потому что умные алгоритмы управления контекстом создадут профориентацию без деформации
709864982
Чтобы не раздувать контекст в кондинге предлагается отдать задачи субанентам , я это применил на финансовых данных и смысл в этом есть , во первых дешевле , во вторых точнее , но медленнее и сложнее в настройке. Плюсом rag и графовые связи для памяти
alexios_mi
короче, ждем коммунизма
McConst
В целом да. Если Объемы с ростом в 4 раза потянут инвесторы/промышленность. Скорее всего зависимость между ростом объемов не линейная а экспоненциальная. Типа при росте в 2 раза модель потребляет больше ресурсов в 10 раз. Для матричной математики экспоненциальный рост ресурсов - практически закономерность.
Gesbes
Используем ИИ и уже не понимаю, что без него делать. Да и планов по внедрению много много прям....
p4eline
настолько всё плохо? типа не будет ИИ - и бизнесу конец?
Gesbes
Он ускоряет процессы, везде по чуточки.
1. Пишет название и описание по фото с ключевыми словами.
2. Заполняет характеристики и каталог.
3. С листа описания написанного от руки подтягивает габариты, цену.
4. Создаю рекламные ролики и картинки для постов. Удаление фона с картинки и прочие правки вместо фотошопа.
5. Правки по договорам быстрые предлагает.
6. (Сейчас делаем) Обогощает базу знаний, т.е. дополняет инструкции или создает ее из кучки материала. Делает тесты для сотрудников по знаниям инструкции. Анализ изминений в инструкции.
Это только то, что осилили внедрить в сайт. А еще много чего можно ))
345997686
И тяжелая и лёгонькая промышленности выйдут из чата, потому как ты либо токены продаёшь, либо чугунину и люминий. Короче, дороже станет всё: и токены, и пылесосы.
modflow
с другой стороны кто первый решится поднять цены, тот и вылетит с рынка первым
Комментарии (23)
Далее добавлю: А если сейчас китайцы выкатят опенсорс какой-нить хитрый, который будет локально херачить? Чипы все равно купят, а вот провайдеры мощностей могут пойти лесом.
Ещё курю этот подход. Но зерно определенно в этом есть чтобы не попадало в контекст лишнее инфо и юзать кэш, чтобы текущая разработка была узко сфокусирована на текущем пайплане
И тогда красивые слова «мы подберем вам самую дешевую модель под вашу задачу» не будут звучать как профанация, потому что умные алгоритмы управления контекстом создадут профориентацию без деформации
1. Пишет название и описание по фото с ключевыми словами.
2. Заполняет характеристики и каталог.
3. С листа описания написанного от руки подтягивает габариты, цену.
4. Создаю рекламные ролики и картинки для постов. Удаление фона с картинки и прочие правки вместо фотошопа.
5. Правки по договорам быстрые предлагает.
6. (Сейчас делаем) Обогощает базу знаний, т.е. дополняет инструкции или создает ее из кучки материала. Делает тесты для сотрудников по знаниям инструкции. Анализ изминений в инструкции.
Это только то, что осилили внедрить в сайт. А еще много чего можно ))