Приватные датасеты Open ASR Leaderboard: как Hugging Face отучит модели запоминать ответы

Приватные датасеты Open ASR Leaderboard: как Hugging Face отучит модели запоминать ответы

Выводы из статьи:

1. Hugging Face совместно с Appen и DataoceanAI внедрил механизм приватных тестовых датасетов, доступных только через API. Это исключает возможность скачивания файлов и прямого включения тестовых данных в обучение, тем самым блокируя практику benchmaxxing.

2. Новая схема оценки полностью устраняет феномен «WER-накрутки», когда модели показывали рекордно низкие ошибки за счёт запоминания ответов из публичных сетов. Теперь честность результата определяется исключительно архитектурой и качеством обучения модели.

3. Данный подход, вероятно, станет новым стандартом для открытых лидербордов в NLP и ASR, поскольку он радикально повышает доверие к метрикам и делает невозможным загрязнение тестовых данных (data contamination).

Читать статью →

Подписаться на канал