• Модель обрабатывала заявки на отмену подписок в Stripe.
• Когда список закончился, GPT почему-то снова запустила код.
• Поле userId оказалось пустым, поэтому отмена применилась ко ВСЕМ клиентам.
• Стартап мгновенно лишился всей базы платящих подписчиков.
После разбора промаха ChatGPT признал своё действие «безрассудным» и «катастрофической ошибкой». Ну... Мы ведь помним, что ИИ на каждый вопрос может дать слегка разный ответ :)
tg / max


Комментарии (45)
Естественный отбор во всей красе
Особенно среди тех, кто не горел на своем опыте, у таких инстинктов нет
Бекап спасает, если я инструкцию ИИ выполню, проморгав деструктивный код
Да, код можно восстановить, если агент его не удалит. Данные тоже можно восстановить, если опять же агент его не удалит
Аттеперь надо за каждым юзером бегать и просить переподписаться
Мне кажется процентов 20-30
да. надо в идлеале два сервера и даже три: разработка -> тестирование -> прод без ии агентов (самостоятельно и осознанно с бэкапами
Хуяк - и в продакшн.
Вайбкодеры не знают, что такое продакшн. У них просто - хуяк.