Маркетплейсы: будущее, ИИ и инновации
Маркетплейсы: будущее, ИИ и инновации

Как проверить рекомендации Amazon Personalize до запуска

Как проверить рекомендации Amazon Personalize до запуска
Как проверить рекомендации Amazon Personalize до запуска

Amazon Personalize делит историю взаимодействий на обучающую и тестовую части, затем сравнивает рекомендации с последними действиями пользователей из тестовой выборки. Precision показывает долю релевантных товаров в первых позициях, NDCG учитывает их порядок, а coverage — какую часть каталога система вообще способна рекомендовать.

Сравнивать модели корректно только на одном наборе данных. Если одна обучалась на редких покупках, а другая — на многочисленных просмотрах, разница метрик может отражать состав данных, а не качество алгоритма. После офлайн-проверки нужен онлайн-тест по кликам и покупкам: AWS не рассчитывает эти показатели автоматически.

Комментариев пока нет.