🇷🇺 Российский ИИ обошёл OpenAI и Nvidia. Проверяем

🇷🇺 «Российский ИИ обошёл OpenAI и Nvidia». Проверяем

Новость разлетелась по каналам: модели из России совершают вдвое меньше ошибок, чем OpenAI и Nvidia. Звучит как прорыв. Разбираемся, что на самом деле измеряли.

Что правда. MWS AI (МТС) сделала тест на распознавание русской речи: 12 тысяч аудиозаписей, около 38 часов. GigaAM v3 от Сбера ошибается в 7,4% слов, Nvidia Parakeet в 15,8%, Nvidia Nemotron в 25,5%. Цифры реальные.

Что приукрасили. Это не «ИИ» в широком смысле, а только перевод речи в текст. К GPT, Claude и вообще к языковым моделям тест отношения не имеет. Цифр по OpenAI в новости нет совсем, есть только общее «Whisper хуже». И «российские модели» во множественном числе на деле означают одну модель, GigaAM.

Условия тоже важны. Записи взяты из телефонии и колл-центров: шум, плохой звук, номера и цифры. Модели, обученные специально на русской речи, на таком материале и должны выигрывать у мультиязычных. Это как сравнивать местного таксиста с навигатором во дворах Бирюлёво.

Итог. Для своей задачи GigaAM действительно хороша: голосовые боты, расшифровка звонков. Но заголовок «обошли OpenAI» стоит читать как «лучше распознают русскую речь в телефонной трубке». Когда российская языковая модель обойдёт GPT или Claude в рассуждениях и коде, напишем об этом отдельно. Пока не обошла.

Добавляйте Миру в чаты 🤩