Русский ИТ бизнес
Русский ИТ бизнес

Стоимость доступа к ИИ по API. 2 рубля за 1 млн. токенов. А сколько у нас цена за 1 КВт электричества? Около 4 руб.

Вот можете прикинуть, если делать сервер дома для ИИ, реально ли получить за 1 Квт электричества обработку на вход 2 млн. токенов (это порядка 6 млн. символов русского языка).

Русский ИТ бизнес
  • Песчаный Инженер
    Песчаный Инженер
    Что за сервис? Ответить
  • Песчаный Инженер
    Песчаный Инженер
    Макс, расскажи, вы аптеку ру прям парсите? Ты писал что 3 недели на это ушло, но у них ведь апи торчит на сайте. Или подсобные камни с ним? Ответить
    раскрыть ветку (1)
    • Автор канала
      Автор канала
      Да все ок парсим Ответить
  • Замёрзший Декан
    Замёрзший Декан
    Это опенроутер? Ответить
    раскрыть ветку (1)
    • Тающий Носорог
      Тающий Носорог
      нет, не open router :)) наша разработка. Ответить
  • Озябший Генерал
    Озябший Генерал
    Да, конечно не выгодно самому делать. Когда у них всё на контрактах долгосрочных. А если сам то налоги заплати, то доставка, то электричество, то маржа продавана Ответить
    раскрыть ветку (26)
    • Тающий Носорог
      Тающий Носорог
      Comment media
      hydra-gpt-mini. Цена 3.00/9.00 рублей за 1 000 000 токенов. Ответить
      раскрыть ветку (3)
      • Озябший Генерал
        Озябший Генерал
        Я уже являюсь клиентом сервиса 😉
        Поэтому и говорю что не выгодно делать самому Ответить
      • Песчаный Инженер
        Песчаный Инженер
        Что за сервис? Ответить
        раскрыть ветку (1)
        • Тающий Носорог
          Тающий Носорог
          ai.sd1.su - там все подробности Ответить
    • Многомерный Джем
      Многомерный Джем
      Если правильно помню, чуть ли не все крупные игроки открыто говорят, что пока крутят динамо в убыток.
      Поэтому обычному юзеру онлайн выгоднее, на их мощностях.
      В будущем (неоднократно обещано) ценник, скорее всего, повысится неиллюзорно. Ответить
      раскрыть ветку (21)
      • Озябший Генерал
        Озябший Генерал
        Думаю и дальше не будет выгодно. Условно у них опт, у тебя розница Ответить
        раскрыть ветку (19)
        • Многомерный Джем
          Многомерный Джем
          нужна эмодзи-реакция "probably-may be" )) Ответить
        • Тающий Носорог
          Тающий Носорог
          Недавно в сообществе нейронок для бизнеса обсуждали этот вопрос. Нет, цена повышаться не будет. Краткий итог: Американца проигрывают Китаю по цене за 1 кВ. А китайские нейронки наступают на пятки по качеству, а по цене сильно впереди.

          По электричеству уже делали расчёты. Пользоваться чужими нейронками гораздо выгоднее получается , чем разворачивать самому. Это даже не считая закупа оборудования и надо во всем самому разбираться, а это тоже время, компетенции, деньги.

          Я также начинал со своих видеокарт. В результате стоят теперь без дела. Только крутятся по тихоньку для nsfw темы. Ответить
          раскрыть ветку (17)
          • Озябший Генерал
            Озябший Генерал
            Что за карточки? Ответить
            раскрыть ветку (11)
            • Тающий Носорог
              Тающий Носорог
              всякие, 3070, 4090, radeon 7900xtx.
              radeoт 7900xtx - самая выгодная по цене 1 кВ за 1 токен. По скорости проигрыш 4090, 20%. Но сильно экономичнее в закупе (-x3). и электричества на 200 кВ в час меньше потребляют и той же 24 Gb памяти.

              Хотел затариваться H100, но вовремя остановился, посчитал, прослезился. Ответить
              раскрыть ветку (10)
              • Озябший Генерал
                Озябший Генерал
                Ехх. Такие карточки простаивают. Ни майнить ни ИИ Ответить
                раскрыть ветку (6)
                • Тающий Носорог
                  Тающий Носорог
                  неее, майнинг - вообще минусово. Убивают карты напрочь. Амортизация.
                  А 7900 уже год шуршат, ни одного сектора памяти не повреждено. Так что все путем. И да еще факт, который надо учитывать. Когда у тебя 1 видеокарта - ладно хрен с ним. Когда у тебя их 10-20 в комнате стоит жара. Баня. + тратить надо на вытяжку. А это еще 1кв в час минимум. Дома ставить - тупо опасно. Отдельное оборудованное помещение. + 3 Карты (максимум) на 1 кабель 2.5 сечения, Так что это еще затраты на электрику.
                  Короче по всем фронтам - свои видеокарты это минусово. Года 2 назад было прибыльно.
                  Тот же Stable Diffusion был впереди многих, а сейчас ему не тягаться с той же Banana v3. Ответить
                • Океанический Гоблин
                  Океанический Гоблин
                  Может и не простаивают. Сталкер на максималках. Или ИИ модели в contr strike на них друг против друга режутся. Ответить
                  раскрыть ветку (4)
                  • Озябший Генерал
                    Озябший Генерал
                    Не. К сожалению у него простаивают Ответить
                    раскрыть ветку (3)
                    • Океанический Гоблин
                      Океанический Гоблин
                      Пусть детей тогда заводит. 😊 Ответить
                      раскрыть ветку (2)
                      • Озябший Генерал
                        Озябший Генерал
                        Когда они вырастут эти карточки мусором будут😁 Ответить
                        раскрыть ветку (1)
                        • Океанический Гоблин
                          Океанический Гоблин
                          hmm3 ещё потянут😊 Ответить
              • Озябший Генерал
                Озябший Генерал
                Только в игрульки поиграть от души 😁 Ответить
                раскрыть ветку (2)
                • Тающий Носорог
                  Тающий Носорог
                  обидно, не играю и нет достойных интересных игр, и некогда. Завален работой. Ну если только HMM 3 на максималках :) Ответить
                  раскрыть ветку (1)
                  • Крадущийся Сокол
                    Крадущийся Сокол
                    HMM3 обновленная вышла Ответить
          • Пепельный Червь
            Пепельный Червь
            И как спрос в общей массе?) Ответить
            раскрыть ветку (4)
            • Тающий Носорог
              Тающий Носорог
              Превышает обычный. То есть по факту сейчас только на постоянке nsfw крутятся. Flux и Banana сильно меньше пользуется спросом. Ну вот в момент выхода Banana подскакивает спрос и потом падает. Для бизнеса все таки даже на Banana v.3 - 2.5 рубля за картинку дорого выходит (на потоке). Для блогов - можно бесплатными способами пользоваться. А для бизнеса дорого. +- по 10 копеек за фотку еще как то использовали. 1 рубля +- максимум. Все что выше, пользуется спросом очень редко.
              А теме nsfw - там по барабану сколько за фотку стоит :) Ответить
              раскрыть ветку (3)
              • Пепельный Червь
                Пепельный Червь
                Ну вот я больше именно про эту тему) Тут видеокарты себя оправдывают, и конкуренции с гигантами нет) Зря Макс видеокарты продал 😂 Ответить
                раскрыть ветку (2)
                • Тающий Носорог
                  Тающий Носорог
                  Порнуха всегда двигатель ИТ прогресса. Если бы не она, может интернет никогда и не появился 😂 Ответить
                  раскрыть ветку (1)
                  • Пепельный Червь
                    Пепельный Червь
                    Правило 34 во всей красе) Ответить
      • Экологичный Священник
        Экологичный Священник
        ну это же классика, причем энергоемкость вычислений снизят, а цены повысят Ответить
  • Пролетарский Феникс
    Пролетарский Феникс
    Так это ж только на запрос 2 рубля😂 а еще ответ же хочется получить, получается 18р Ответить
    раскрыть ветку (12)
    • Тающий Носорог
      Тающий Носорог
      Вы сейчас сами придумали? Ответить
    • Тающий Носорог
      Тающий Носорог
      Comment media
      Пример вайб кодинга. hydra-gemini-pro 30.00/200.00 р. Цена честная, только за токены. Никаких рублей за запросы, без обмана. Ответить
      раскрыть ветку (5)
      • Океанический Гоблин
        Океанический Гоблин
        киньте ссылку на сайт. Может подпишусь. Ответить
      • Виртуальный Бегемот
        Виртуальный Бегемот
        что за запросы такие 54к токенов? Ответить
      • Точёный Гном
        Точёный Гном
        Так вы гидра или другой сервис? Дайте ссылку пожалуйста 🙂 Ответить
        раскрыть ветку (2)
        • Тающий Носорог
          Тающий Носорог
          О чем речь? Компания разработчик и проект. hydra она и в Африке гидра. Просто юрикам через юридические реквизиты надо работать, поэтому ссылка на ai.sd1.su. Кому как удобнее. Сама Hydra только с физиками автоматизирована. Ответить
          раскрыть ветку (1)
          • Точёный Гном
            Точёный Гном
            Во я про сервис имел ввиду, поюзаю посмотрю что там у вас да как)) Ответить
    • Многомерный Джем
      Многомерный Джем
      Энивей, Максим (автор канала) прав.
      В чатах айтишников подробно разжевали вопрос: разворачивать локально модели в домашних условиях невыгодно.

      Только если вы не большой корпорат, которому по разным соображениям нужны свои LLM-ки под боком. Ответить
    • Автор канала
      Автор канала
      За миллион токенов Ответить
      раскрыть ветку (3)
      • Пролетарский Феникс
        Пролетарский Феникс
        Дада но не 2 рубля получается за миллион с 18 +- Ответить
      • Океанический Гоблин
        Океанический Гоблин
        А яндекс/сбер за 1 млн токенов для сравнения? При их ценах локальная llm уже выгодна 😂? Ответить
        раскрыть ветку (1)
        • Речной Посол
          Речной Посол
          да там обдиралово жуткое Ответить