Русский ИТ бизнес
Русский ИТ бизнес
Post media

Чел пишет - переехал с платного Google Speech to Text на локальный кластер из Mac mini M4 Pro и

Чел пишет - переехал с платного Google Speech to Text на локальный кластер из Mac mini M4 Pro и теперь экономит по 120 долларов ежедневно или около 2500 в месяц. Железо с 64 гигабайтами памяти обошлось в 2400 долларов за штуку а электричество стоит смешные 16 долларов в год.

Одна такая машина переваривает до 20 одновременных потоков транскрибации на двойной скорости используя whisper.cpp вместе с Silero VAD для определения голоса. Гугл брал полтора цента за минуту что на объеме в 650 тысяч минут ежемесячно выливалось в круглую сумму однако собственное оборудование окупилось практически мгновенно.

Архитектура построена на очередях AWS SQS откуда маки забирают задачи пока автоскейлер Kubernetes следит за нагрузкой. Если локальный кластер упадет или отключится интернет система автоматически перенаправит работу в облако гарантируя отсутствие простоев.

В итоге диспетчеры компании получили возможность искать информацию по тексту звонков вместо прослушивания бесконечных аудиозаписей.

В общем - железо при грамотной настройке может сэкономить кучу денег и работать не хуже облачных гигантов.

Русский ИТ бизнес

Комментарии (16)

  • Лохматый Осьминог
    Лохматый Осьминог
    Уже в куче постов на тему домашних карманных моделей - неявная реклама Mac mini 🤡😂
    а чем другие мини ПК не подходят-то? ещё дешевле получится, между прочи😎💪
    • Автор канала
      Автор канала
      ну я на таком работаю. прямо щас. тихий быстрый. не знаю что еще сказать
    • Милый Эксперт
      Милый Эксперт
      Так надо же отрабатывать контракт 😉 вот и строчит, строчит, строчит.
    • Милый Эксперт
      Милый Эксперт
      А если серьёзно, что то не слышно ничего подобного о миниках на AMD AI. Почему интересно?!?
      • Озябший Генерал
        Озябший Генерал
        Думаю это связано с тем что решения от эпл популярные. А на амд куча разных вариантов, выбирай что хочешь, но обсуждения такого не будет.
    • Неоновый Клон
      Неоновый Клон
      в маках мини преимущество в том что он выполняет на процессорах M-серии те операции что на AMD/Intel-конфигурациях можно только на видеокартах/GPU. И из-за этого сильно дешевле выходит использование для локальных ИИ-вычислений
  • Суровый Официант
    Суровый Официант
    Parakeet TDT 0.6B v3 гораздно лучше и быстрыее чем whisper, плюс есть под мак спец версия на coreml, так же еще быстрее на nvidia работает. 1 час где то за 2 минуты транскребирует
    • Суровый Официант
      Суровый Официант
      вот на винде и маке работает, в 17 раз быстрее whisper даже на cpu ( да видюха не нужна, с ней еще быстрее) https://github.com/ruuxi/chirp-stt, нажимаешь среднюю кнопки мыши говоришь, и вставляешь куда нужно, можете почитать ридми https://github.com/ruuxi/chirp-stt/blob/main/README-DESKTOP.md
  • Лохматый Осьминог
    Лохматый Осьминог
    Comment media
    у меня простой AMD - вообще не нарадуюсь, всё летает)
    • Милый Эксперт
      Милый Эксперт
      Как уровень шума?
      Я сыну брал такую коробку, Beelink, на интеле n5095. Так вообще утомил жужжать. Чуток нагрузки и пропеллер на максимум звука.
      • Автор канала
        Автор канала
        скажу так макмини м4 - я его НЕ слышу.
        • Милый Эксперт
          Милый Эксперт
          Не, про МакМини итак известно, что тихий. А вот что у товарища на AMD в таком же корпусе?
      • Лохматый Осьминог
        Лохматый Осьминог
        Слышно, как начинает крутить, когда реально несколько браузеров и ОБС студио одновременно ))
        а фоново - нее, не слышно.

        Но надо по кулерам тоже смотреть. У меня предыдущий начал шуметь после года работы - так я разобрал и по старинке маслица на ось накапал)). И перестал шуметь.
  • Свежеиспечённый Сатир
    Свежеиспечённый Сатир
    Это похожая штука?

    https://dopdox.ru/lot/aabb0ec4-b240-4a73-8650-59a23c18f192
  • Падающий Бог
    Падающий Бог
    А что он делает с такими объемами транскрибации ( переводами из аудио в тексты) ? Какую задачу решает? Это более интересно
    • Суровый Официант
      Суровый Официант
      кол центр видимо свой, там описано что операторы могут искать о чем говорилось в телефоных разговорах