Почему у одной модели распознавания спикеров ошибок то 4,8%, то 12,7%

Почему у одной модели распознавания спикеров ошибок то 4,8%, то 12,7%

Вы открыли сравнение моделей для расшифровки встреч: у одной и той же системы в одном отчёте 4,8% ошибок, в другом — 12,7%. Ни модель, ни аудио не менялись. Разница в том, как строго считали совпадение границ реплик.

DER (Diarization Error Rate) — доля времени записи, размеченного неверно. В ошибку попадают четыре вещи: пропущенная речь, которую система отнесла к тишине; речь, приписанная несуществующему говорящему; перепутанные метки спикеров; сдвинутые границы сегментов. Чем ниже значение, тем лучше.

Пример. Вы вручную отмечаете в записи приёма, когда заговорил пациент, и нажимаете кнопку на 200 мс позже, чем это было на самом деле. Если проверяющий разрешает расхождение до четверти секунды (допуск ±250 мс), пометка засчитана как верная. Если требует совпадения до миллисекунды — та же пометка становится ошибкой, хотя вы правильно поняли, кто говорит.

В разобранном сравнении Nemotron 3 при допуске ±250 мс получает DER 4,803%, а при нулевом допуске границ — 12,720%. Рост почти втрое идёт за счёт точности границ, а не путаницы между спикерами. Немного другой допуск полностью переписывает таблицу.

Граница применимости: выборка в том сравнении маленькая — 15 диалогов, около 2,4 часа аудио. Этого мало для устойчивых выводов там, где разница между моделями меньше процентного пункта. И цифра DER без указания допуска границ и размера выборки почти ничего не говорит о вашей задаче.

Разбор