Камера цела, контроллер в норме — а робот берёт не ту коробку

Камера цела, контроллер в норме — а робот берёт не ту коробку

На линии робот с камерой разбирает коробки. Камера работает, контроллер отвечает, аварийные контуры молчат — по всем датчикам техника исправна. Но робот делает не то, что нужно: он иначе понимает объект перед собой. Это учебный пример, а не описание конкретного случая с производства.

Причина не в поломке. На коробку наклеен специальный паттерн, и камера видит «валидный» кадр, в котором объект подменён. Ни одна деталь не вышла из строя, отказа нет — неверным оказался смысл того, что пришло на вход.

Функциональная безопасность — это набор проверок, рассчитанных на отказ: сломался датчик, оборвался провод, завис контроллер. «Классическая функциональная безопасность такие сценарии не покрывает по построению: она отвечает на вопрос «что случится, если компонент откажет», а не «что случится, если кто-то целенаправленно изменит его входы»», — говорится в разборе.

Атака на восприятие — это целенаправленное воздействие на то, что робот считает данными. «Атака ломает эту логику, потому что отказа нет. Все компоненты работают в пределах допусков, а неверным оказывается смысл входных данных. Камера исправна и передаёт валидный видеопоток, но объект в кадре подменён наклейкой».

Практический вывод для тех, кто внедряет роботов: «Функциональная безопасность и кибербезопасность Physical AI - разные задачи. Первая страхует отказы, вторая - целенаправленные воздействия. Сертификат по безопасности не заменяет проверку на атаки». Одно не отменяет другого — это две разные проверки, и обе нужны.

Разбор