Кто-то взял крутейшую нейросеть для распознавания голоса от OpenAI (ту самую Whisper) и переписал её на суровом, чистом C++ без кучи лишних зависимостей.
В итоге получилась штука, которая вообще не требует интернета, весит копейки и умудряется на лету переводить голос в текст полностью локально — хоть на стареньком ноутбуке, хоть на микрокомпьютере, ничего при этом не сливая на корпоративные серверы.
На практике это идеальная находка для тех, кому нужно быстро расшифровать часовое интервью, нарезать субтитры с таймкодами или прикрутить голосовое управление к своему проекту, не продавая при этом почку за платные API-ключи. Вы просто берете этот инструмент, скармливаете ему аудиофайл, и вся магия происходит прямо на вашем железе, тихо, приватно и бесплатно.
Ссылка: https://github.com/ggml-org/whisper.cpp
p.s. Если нужен качественный перевод русского аудио в текст с нормальной расстановкой запятых и пониманием сленга, лучше использовать модели от
small и выше. Самая точная — large-v3, но она потребует больше оперативной памяти и времени на обработку, если железо не самое мощное.tg / max
Комментарии (15)
Георгий Герганов, автор llama.cpp
Этот кто-то Георгий Герганов, автор llama.cpp
фиксирую профиль Георгия как кейс ggml
godudy
whisper.cpp это адаптер / рантайм
А есть Transcribe.cpp который используется в Handy и разработан handy его преимущество в том что он помимо whisper модели работает с большим количеством моделей
Поэтому в talkis.ru тоже используется Transcribe.cpp - чтобы не ограничиваться одним васпером !
И он немного быстрее чем whisper.cpp по тестам
Whisper.cpp — это магнитофон, который умеет крутить кассеты только одного формата (только модели Whisper).
Transcribe.cpp — это супер-музыкальный центр, в который можно вставить кассету, диск, флешку и вообще всё что угодно.
В чем главная фишка Transcribe.cpp?
Универсальный переходник.
Он берет модели самых разных «семейств» (более 16 видов нейросетей и 60 их вариантов) и превращает их в один удобный формат GGUF.
Работает везде.
Неважно, какая у вас видеокарта или процессор (встроена поддержка технологий Vulkan, CUDA для Nvidia и Metal для Apple) - этот адаптер выжмет максимум скорости из любого компьютера.
Поддержка стриминга.
Он умеет на лету расшифровывать звук прямо с микрофона в реальном времени, а не только из готовых файлов.времени, а не только из готовых файлов.
Transcribe.cpp это тоже самое что whisper.cpp только под большое кол-во моделей (60 шт) транскрибации
Чуть-чуть быстрее из-за более оптимизированного алгоритма
https://github.com/aystream/gigaam-mlx
качество транскрибации мне понравилось, запускал локально на Мак