Чел пишет - переехал с платного Google Speech to Text на локальный кластер из Mac mini M4 Pro и теперь экономит по 120 долларов ежедневно или около 2500 в месяц. Железо с 64 гигабайтами памяти обошлось в 2400 долларов за штуку а электричество стоит смешные 16 долларов в год.

Одна такая машина переваривает до 20 одновременных потоков транскрибации на двойной скорости используя whisper.cpp вместе с Silero VAD для определения голоса. Гугл брал полтора цента за минуту что на объеме в 650 тысяч минут ежемесячно выливалось в круглую сумму однако собственное оборудование окупилось практически мгновенно.

Архитектура построена на очередях AWS SQS откуда маки забирают задачи пока автоскейлер Kubernetes следит за нагрузкой. Если локальный кластер упадет или отключится интернет система автоматически перенаправит работу в облако гарантируя отсутствие простоев.

В итоге диспетчеры компании получили возможность искать информацию по тексту звонков вместо прослушивания бесконечных аудиозаписей.

В общем - железо при грамотной настройке может сэкономить кучу денег и работать не хуже облачных гигантов.

Русский ИТ бизнес