Как 45 минут работы одного сервера уничтожили компанию за $1,4 млрд

Как 45 минут работы одного сервера уничтожили компанию за $1,4 млрд


Есть истории провалов, где долго копится куча ошибок. А есть Knight Capital — там всё решил один инженер, который вечером перед релизом не докинул код на последний сервер. Сама компания — не какой-то стартап на коленке. 2012 год, через Knight проходит примерно каждая шестая сделка с американскими акциями. Машина, которая печатает деньги на скорости. Накануне рокового дня они обновляют торговую систему.

Серверов восемь, код залили на семь. Про восьмой забыли — бывает, человеческий фактор, у всех бывает. Проблема в том, что новый код переиспользовал старый служебный флаг. А на восьмом сервере, где остался старый код, этот флаг всё ещё включал Power Peg — тестовый модуль десятилетней давности, который умел ровно одно: покупать акции. Без лимитов и без вопросов. Модуль давно не использовали, но удалить руки не дошли. Он просто лежал там все эти годы и ждал. 1 августа, 9:30 утра, биржа открывается.

Семь серверов работают как надо. Восьмой просыпается и начинает скупать вообще всё — миллионы акций по сотне с лишним тикеров, разгоняя цены и теряя деньги на каждой сделке. Скорость сжигания — порядка $10 млн в минуту. Причём система успела предупредить. Ещё до открытия торгов мониторинг разослал почти сотню писем об ошибке. Утро, все заняты, письма висят непрочитанными. Пока в офисе поняли, что это не рынок сошёл с ума, а их собственный сервер, прошло 45 минут. Убыток — $440 миллионов.

Больше их годовой прибыли. Через пару дней компанию за бесценок забрали спасители-инвесторы, а потом её и вовсе поглотил конкурент. Регулятор потом писал разбор, и там нет слов «сервер сломался». Там написано, по сути, вот что: у фирмы, гонявшей миллиарды, не было чек-листа на деплой.

tg / max