Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Post media
Стоимость доступа к ИИ по API. 2 рубля за 1 млн. токенов. А сколько у нас цена за 1 КВт электричества? Около 4 руб.

Вот можете прикинуть, если делать сервер дома для ИИ, реально ли получить за 1 Квт электричества обработку на вход 2 млн. токенов (это порядка 6 млн. символов русского языка).

Русский ИТ бизнес
0/5 Открыть в Telegram

Комментарии (0)

  • zhigalkin
    Что за сервис?
  • zhigalkin
    Макс, расскажи, вы аптеку ру прям парсите? Ты писал что 3 недели на это ушло, но у них ведь апи торчит на сайте. Или подсобные камни с ним?
    • GroupAnonymousBot
      Да все ок парсим
  • jonnnnster
    Это опенроутер?
    • zerohold
      нет, не open router :)) наша разработка.
  • Bulatovq
    Да, конечно не выгодно самому делать. Когда у них всё на контрактах долгосрочных. А если сам то налоги заплати, то доставка, то электричество, то маржа продавана
    • zerohold
      Comment media
      hydra-gpt-mini. Цена 3.00/9.00 рублей за 1 000 000 токенов.
      • Bulatovq
        Я уже являюсь клиентом сервиса 😉
        Поэтому и говорю что не выгодно делать самому
      • zhigalkin
        Что за сервис?
        • zerohold
          ai.sd1.su - там все подробности
    • Nikita_495
      Если правильно помню, чуть ли не все крупные игроки открыто говорят, что пока крутят динамо в убыток.
      Поэтому обычному юзеру онлайн выгоднее, на их мощностях.
      В будущем (неоднократно обещано) ценник, скорее всего, повысится неиллюзорно.
      • Bulatovq
        Думаю и дальше не будет выгодно. Условно у них опт, у тебя розница
        • Nikita_495
          нужна эмодзи-реакция "probably-may be" ))
        • zerohold
          Недавно в сообществе нейронок для бизнеса обсуждали этот вопрос. Нет, цена повышаться не будет. Краткий итог: Американца проигрывают Китаю по цене за 1 кВ. А китайские нейронки наступают на пятки по качеству, а по цене сильно впереди.

          По электричеству уже делали расчёты. Пользоваться чужими нейронками гораздо выгоднее получается , чем разворачивать самому. Это даже не считая закупа оборудования и надо во всем самому разбираться, а это тоже время, компетенции, деньги.

          Я также начинал со своих видеокарт. В результате стоят теперь без дела. Только крутятся по тихоньку для nsfw темы.
          • Bulatovq
            Что за карточки?
            • zerohold
              всякие, 3070, 4090, radeon 7900xtx.
              radeoт 7900xtx - самая выгодная по цене 1 кВ за 1 токен. По скорости проигрыш 4090, 20%. Но сильно экономичнее в закупе (-x3). и электричества на 200 кВ в час меньше потребляют и той же 24 Gb памяти.

              Хотел затариваться H100, но вовремя остановился, посчитал, прослезился.
              • Bulatovq
                Ехх. Такие карточки простаивают. Ни майнить ни ИИ
                • zerohold
                  неее, майнинг - вообще минусово. Убивают карты напрочь. Амортизация.
                  А 7900 уже год шуршат, ни одного сектора памяти не повреждено. Так что все путем. И да еще факт, который надо учитывать. Когда у тебя 1 видеокарта - ладно хрен с ним. Когда у тебя их 10-20 в комнате стоит жара. Баня. + тратить надо на вытяжку. А это еще 1кв в час минимум. Дома ставить - тупо опасно. Отдельное оборудованное помещение. + 3 Карты (максимум) на 1 кабель 2.5 сечения, Так что это еще затраты на электрику.
                  Короче по всем фронтам - свои видеокарты это минусово. Года 2 назад было прибыльно.
                  Тот же Stable Diffusion был впереди многих, а сейчас ему не тягаться с той же Banana v3.
                • McConst
                  Может и не простаивают. Сталкер на максималках. Или ИИ модели в contr strike на них друг против друга режутся.
                  • Bulatovq
                    Не. К сожалению у него простаивают
                    • McConst
                      Пусть детей тогда заводит. 😊
                      • Bulatovq
                        Когда они вырастут эти карточки мусором будут😁
                        • McConst
                          hmm3 ещё потянут😊
              • Bulatovq
                Только в игрульки поиграть от души 😁
                • zerohold
                  обидно, не играю и нет достойных интересных игр, и некогда. Завален работой. Ну если только HMM 3 на максималках :)
                  • ligasto
                    HMM3 обновленная вышла
          • rznvlxndr
            И как спрос в общей массе?)
            • zerohold
              Превышает обычный. То есть по факту сейчас только на постоянке nsfw крутятся. Flux и Banana сильно меньше пользуется спросом. Ну вот в момент выхода Banana подскакивает спрос и потом падает. Для бизнеса все таки даже на Banana v.3 - 2.5 рубля за картинку дорого выходит (на потоке). Для блогов - можно бесплатными способами пользоваться. А для бизнеса дорого. +- по 10 копеек за фотку еще как то использовали. 1 рубля +- максимум. Все что выше, пользуется спросом очень редко.
              А теме nsfw - там по барабану сколько за фотку стоит :)
              • rznvlxndr
                Ну вот я больше именно про эту тему) Тут видеокарты себя оправдывают, и конкуренции с гигантами нет) Зря Макс видеокарты продал 😂
                • zerohold
                  Порнуха всегда двигатель ИТ прогресса. Если бы не она, может интернет никогда и не появился 😂
                  • rznvlxndr
                    Правило 34 во всей красе)
      • Ut4J6
        ну это же классика, причем энергоемкость вычислений снизят, а цены повысят
  • merkuri_it
    Так это ж только на запрос 2 рубля😂 а еще ответ же хочется получить, получается 18р
    • zerohold
      Вы сейчас сами придумали?
    • zerohold
      Comment media
      Пример вайб кодинга. hydra-gemini-pro 30.00/200.00 р. Цена честная, только за токены. Никаких рублей за запросы, без обмана.
      • McConst
        киньте ссылку на сайт. Может подпишусь.
      • vb_1895
        что за запросы такие 54к токенов?
      • kdvoryaninov
        Так вы гидра или другой сервис? Дайте ссылку пожалуйста 🙂
        • zerohold
          О чем речь? Компания разработчик и проект. hydra она и в Африке гидра. Просто юрикам через юридические реквизиты надо работать, поэтому ссылка на ai.sd1.su. Кому как удобнее. Сама Hydra только с физиками автоматизирована.
          • kdvoryaninov
            Во я про сервис имел ввиду, поюзаю посмотрю что там у вас да как))
    • Nikita_495
      Энивей, Максим (автор канала) прав.
      В чатах айтишников подробно разжевали вопрос: разворачивать локально модели в домашних условиях невыгодно.

      Только если вы не большой корпорат, которому по разным соображениям нужны свои LLM-ки под боком.
    • GroupAnonymousBot
      За миллион токенов
      • merkuri_it
        Дада но не 2 рубля получается за миллион с 18 +-
      • McConst
        А яндекс/сбер за 1 млн токенов для сравнения? При их ценах локальная llm уже выгодна 😂?
        • kirillswed
          да там обдиралово жуткое