Русский ИТ бизнес
Русский ИТ бизнес
Post media

Стоимость доступа к ИИ по API. 2 рубля за 1 млн. токенов. А сколько у нас цена за 1 КВт электричества? Около 4 руб.

Вот можете прикинуть, если делать сервер дома для ИИ, реально ли получить за 1 Квт электричества обработку на вход 2 млн. токенов (это порядка 6 млн. символов русского языка).

Русский ИТ бизнес
  • Песчаный Инженер
    Песчаный Инженер
    Что за сервис?
  • Песчаный Инженер
    Песчаный Инженер
    Макс, расскажи, вы аптеку ру прям парсите? Ты писал что 3 недели на это ушло, но у них ведь апи торчит на сайте. Или подсобные камни с ним?
    • Автор канала
      Автор канала
      Да все ок парсим
  • Замёрзший Декан
    Замёрзший Декан
    Это опенроутер?
    • Тающий Носорог
      Тающий Носорог
      нет, не open router :)) наша разработка.
  • Озябший Генерал
    Озябший Генерал
    Да, конечно не выгодно самому делать. Когда у них всё на контрактах долгосрочных. А если сам то налоги заплати, то доставка, то электричество, то маржа продавана
    • Тающий Носорог
      Тающий Носорог
      Comment media
      hydra-gpt-mini. Цена 3.00/9.00 рублей за 1 000 000 токенов.
      • Озябший Генерал
        Озябший Генерал
        Я уже являюсь клиентом сервиса 😉
        Поэтому и говорю что не выгодно делать самому
      • Песчаный Инженер
        Песчаный Инженер
        Что за сервис?
        • Тающий Носорог
          Тающий Носорог
          ai.sd1.su - там все подробности
    • Многомерный Джем
      Многомерный Джем
      Если правильно помню, чуть ли не все крупные игроки открыто говорят, что пока крутят динамо в убыток.
      Поэтому обычному юзеру онлайн выгоднее, на их мощностях.
      В будущем (неоднократно обещано) ценник, скорее всего, повысится неиллюзорно.
      • Озябший Генерал
        Озябший Генерал
        Думаю и дальше не будет выгодно. Условно у них опт, у тебя розница
        • Многомерный Джем
          Многомерный Джем
          нужна эмодзи-реакция "probably-may be" ))
        • Тающий Носорог
          Тающий Носорог
          Недавно в сообществе нейронок для бизнеса обсуждали этот вопрос. Нет, цена повышаться не будет. Краткий итог: Американца проигрывают Китаю по цене за 1 кВ. А китайские нейронки наступают на пятки по качеству, а по цене сильно впереди.

          По электричеству уже делали расчёты. Пользоваться чужими нейронками гораздо выгоднее получается , чем разворачивать самому. Это даже не считая закупа оборудования и надо во всем самому разбираться, а это тоже время, компетенции, деньги.

          Я также начинал со своих видеокарт. В результате стоят теперь без дела. Только крутятся по тихоньку для nsfw темы.
          • Озябший Генерал
            Озябший Генерал
            Что за карточки?
            • Тающий Носорог
              Тающий Носорог
              всякие, 3070, 4090, radeon 7900xtx.
              radeoт 7900xtx - самая выгодная по цене 1 кВ за 1 токен. По скорости проигрыш 4090, 20%. Но сильно экономичнее в закупе (-x3). и электричества на 200 кВ в час меньше потребляют и той же 24 Gb памяти.

              Хотел затариваться H100, но вовремя остановился, посчитал, прослезился.
              • Озябший Генерал
                Озябший Генерал
                Ехх. Такие карточки простаивают. Ни майнить ни ИИ
                • Тающий Носорог
                  Тающий Носорог
                  неее, майнинг - вообще минусово. Убивают карты напрочь. Амортизация.
                  А 7900 уже год шуршат, ни одного сектора памяти не повреждено. Так что все путем. И да еще факт, который надо учитывать. Когда у тебя 1 видеокарта - ладно хрен с ним. Когда у тебя их 10-20 в комнате стоит жара. Баня. + тратить надо на вытяжку. А это еще 1кв в час минимум. Дома ставить - тупо опасно. Отдельное оборудованное помещение. + 3 Карты (максимум) на 1 кабель 2.5 сечения, Так что это еще затраты на электрику.
                  Короче по всем фронтам - свои видеокарты это минусово. Года 2 назад было прибыльно.
                  Тот же Stable Diffusion был впереди многих, а сейчас ему не тягаться с той же Banana v3.
                • Океанический Гоблин
                  Океанический Гоблин
                  Может и не простаивают. Сталкер на максималках. Или ИИ модели в contr strike на них друг против друга режутся.
                  • Озябший Генерал
                    Озябший Генерал
                    Не. К сожалению у него простаивают
                    • Океанический Гоблин
                      Океанический Гоблин
                      Пусть детей тогда заводит. 😊
                      • Озябший Генерал
                        Озябший Генерал
                        Когда они вырастут эти карточки мусором будут😁
                        • Океанический Гоблин
                          Океанический Гоблин
                          hmm3 ещё потянут😊
              • Озябший Генерал
                Озябший Генерал
                Только в игрульки поиграть от души 😁
                • Тающий Носорог
                  Тающий Носорог
                  обидно, не играю и нет достойных интересных игр, и некогда. Завален работой. Ну если только HMM 3 на максималках :)
                  • Крадущийся Сокол
                    Крадущийся Сокол
                    HMM3 обновленная вышла
          • Пепельный Червь
            Пепельный Червь
            И как спрос в общей массе?)
            • Тающий Носорог
              Тающий Носорог
              Превышает обычный. То есть по факту сейчас только на постоянке nsfw крутятся. Flux и Banana сильно меньше пользуется спросом. Ну вот в момент выхода Banana подскакивает спрос и потом падает. Для бизнеса все таки даже на Banana v.3 - 2.5 рубля за картинку дорого выходит (на потоке). Для блогов - можно бесплатными способами пользоваться. А для бизнеса дорого. +- по 10 копеек за фотку еще как то использовали. 1 рубля +- максимум. Все что выше, пользуется спросом очень редко.
              А теме nsfw - там по барабану сколько за фотку стоит :)
              • Пепельный Червь
                Пепельный Червь
                Ну вот я больше именно про эту тему) Тут видеокарты себя оправдывают, и конкуренции с гигантами нет) Зря Макс видеокарты продал 😂
                • Тающий Носорог
                  Тающий Носорог
                  Порнуха всегда двигатель ИТ прогресса. Если бы не она, может интернет никогда и не появился 😂
                  • Пепельный Червь
                    Пепельный Червь
                    Правило 34 во всей красе)
      • Экологичный Священник
        Экологичный Священник
        ну это же классика, причем энергоемкость вычислений снизят, а цены повысят
  • Пролетарский Феникс
    Пролетарский Феникс
    Так это ж только на запрос 2 рубля😂 а еще ответ же хочется получить, получается 18р
    • Тающий Носорог
      Тающий Носорог
      Вы сейчас сами придумали?
    • Тающий Носорог
      Тающий Носорог
      Comment media
      Пример вайб кодинга. hydra-gemini-pro 30.00/200.00 р. Цена честная, только за токены. Никаких рублей за запросы, без обмана.
      • Океанический Гоблин
        Океанический Гоблин
        киньте ссылку на сайт. Может подпишусь.
      • Виртуальный Бегемот
        Виртуальный Бегемот
        что за запросы такие 54к токенов?
      • Точёный Гном
        Точёный Гном
        Так вы гидра или другой сервис? Дайте ссылку пожалуйста 🙂
        • Тающий Носорог
          Тающий Носорог
          О чем речь? Компания разработчик и проект. hydra она и в Африке гидра. Просто юрикам через юридические реквизиты надо работать, поэтому ссылка на ai.sd1.su. Кому как удобнее. Сама Hydra только с физиками автоматизирована.
          • Точёный Гном
            Точёный Гном
            Во я про сервис имел ввиду, поюзаю посмотрю что там у вас да как))
    • Многомерный Джем
      Многомерный Джем
      Энивей, Максим (автор канала) прав.
      В чатах айтишников подробно разжевали вопрос: разворачивать локально модели в домашних условиях невыгодно.

      Только если вы не большой корпорат, которому по разным соображениям нужны свои LLM-ки под боком.
    • Автор канала
      Автор канала
      За миллион токенов
      • Пролетарский Феникс
        Пролетарский Феникс
        Дада но не 2 рубля получается за миллион с 18 +-
      • Океанический Гоблин
        Океанический Гоблин
        А яндекс/сбер за 1 млн токенов для сравнения? При их ценах локальная llm уже выгодна 😂?
        • Речной Посол
          Речной Посол
          да там обдиралово жуткое