Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Сегодня в 20.00 будет анонс GPT-5. Ждете? Я лично жду снижения цен на токены, не более того :) Мы же мелкие и жадные, плывем за большими мальчиками и довольствуемся малым ...

Русский ИТ бизнес
0/9 Открыть в Telegram

Комментарии (0)

  • parts_soft_ru
    Я жду. Вдруг прорыв, супер мозг - вот это все.
  • smalyu
    А разве не в 21:00? +11 часов же
  • hadouken247
    А GPT-OSS не хотите развернуть у себя? 20 миллиардов можно на топовой потребительской карте использовать
    • GroupAnonymousBot
      нет. наигрались с картами
      • mtrnkwas
        А в чем проявился негативный опыт?
        • GroupAnonymousBot
          ну надо вкладываться в покупку и поддержку. облака как то проще
          • mtrnkwas
            Ну один раз вложился и все. Вы как-то писали, что в месяц на токены у вас уходит 20 тысяч рублей. Карта 5090 стоит 2500 долларов. То есть за 10 месяцев окупится только по части инференса.
            • GroupAnonymousBot
              20к в месяц тратим щас на токены.
            • kirill_kolyshkin
              быстрее окупится, так как можно не экономить и сильнее загружать это дело работой) даже несмотря на то, что помимо видяхи еще нужно другое железо
              • mtrnkwas
                Согласен, что окупится быстрее. По поводу другого железа, то можно собрать обычный комп из всякого мусора, которого в любом офисе полно - процессор i5, 32 gb ram + Ubuntu server. В играх нужен и мощный процессор, и мощная видеокарта, а для LLM сопутствующее железо несущественно.
                • alexy_os
                  А можно просто купить за 150К mac mini m4 pro и в ус не дуть ) уже пошли тесты на реддит и ютуб полет нормальный

                  Сам повтыкал ее через разные площадки очень впечатляюще а если есть доступ к поиску в инете разбирает даже сложные кейсы такие как в чем отличие shadcn 4 от 3 и на удивление 20b gpt-oss

                  Так что зря Макс свои карты продал :) сейчас бы день и ночь генерил текста
                  • GroupAnonymousBot
                    мы и так генерим день и ночь :) какая скорость выдает на большой ИИ на маке?
                    • alexy_os
                      У меня пока ответа нет. Буду юзать через Groq там мгновенная скорость

                      А по mac mini m4 pro подпишусь в перплексити буду отслеживать кто тестил но думаю не меньше 100т/сек на 24 Gb

                      Но это именно чип M4 Pro
                  • GroupAnonymousBot
                    https://www.reddit.com/r/ollama/comments/1mihumw/gptoss20b_way_too_slow_on_m1_macbook_pro_2020/
                    • alexy_os
                      Так чип старый М1

                      Даже на просто М4 будет еще слабо

                      Надо М4 Про и не менее 24 Гб на озоне стоит 150К
                      • mtrnkwas
                        Лучше, мне кажется дождаться, когда выйдет в продажу Nvidia DGX Spark, там будет 128 gb unified memory. И тогда уже посмотреть, что брать - Spark, M4 Studio Ultra, Nvidia Pro 6000 или пару 5090.
            • kirill_kolyshkin
              сам сейчас постепенно перевожу всю работу на свои мощности, прям позволяет хорошо развернуться. И RAG красиво сделать, ночью железо натравливать на отложенные задачи, не париться за размер и стоимость контекста. Т.е. изменение процессов работы с LLM дает значительно больше, чем просто некоторая экономия. Там лютая экономия выходит, когда не стесняешься загружать работой железо)
            • Ut4J6
              Похоже что 10 месяцев для малого бизнеса это срок неотличимый от вечности
  • braginwww
    Его как-то уже открывали, на короткое время. Я поместил.
  • luxeweb3
    Да конеш ждем подписку же купили)