Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Post media
Покупаете такую штуку и помимо любых других целей (дизайн, разработка, монтаж и тп) у вас абсолютно без проблем будет работать локальная ИИ уровня GPT-OSS:20b для простых вопросов и ответов.

Никаких облаков и подписок. Ваши вопросы не утекут в файлы Эпштейна.

Русский ИТ бизнес
1910/13 Открыть в Telegram

Комментарии (63)

  • Sergei_Lk
    Про Эпштейна хорошее дополнение, на злобу дня)
    А распределенную можно сделать? Если купить полдюжины?)
  • dagaal15
    Джимини ещё норм, а чат джпт постоянно врет
  • kolbert
    Можно Алису бесплатно использовать или гигакод, не?))
    • Ut4J6
      а чем они от буржуйских отличаются?
      • kolbert
        Тут речь про купить мак мини ради модели 20b для "простых ответов".
        • Ut4J6
          Comment media
          в условиях, когда "отечественная ии" выдает вот такие ответы, волей-неволей возникает желание запускать всё локально
      • Sergei_Lk
        Ценой) как передовая в ИИстрана, догоняющая Никарагуа (статистика мелкософта, не я придумал) токены российские самые дорогие (можно погуглить тему или спрочить дипсик или алису 😂)
        Но Алиса могёт (мультяшки забавные, по крайней мере) а вот гига...
        • Ut4J6
          не оч понимаю, как гига и алиса соотносятся со страной Российская Федерация
          • kolbert
            Серваки в РФ
            • Ut4J6
              ну у гугла тоже
              • kolbert
                Нет, тем более Джемини без впн в РФ не доступен
                • Ut4J6
                  у меня есть свидетель, который видел оборудование гугла в краснодаре своими глазами. может там видео хранят
          • DADementr
            Полностью сберовская разработка в РФ. выложены в OpnSRC
            • Ut4J6
              Comment media
              вопросов больше не имею
              • DADementr
                Ну идеальная генерация как по мне я ошибок не вижу
                • kolbert
                  Звезды не звезды
                  • DADementr
                    Ну это мелочи, за взглядом солнцеликого не заметны
                    • kolbert
                      Ну того чела просто от темнейшего бомбит )
                  • saasonblood_admin
                    Это воровские😉

                    П.с.: Владмир Владимирович, только шутки, ничего больше
                • saasonblood_admin
                  Еще бы были вопросы, получать на них ответы, точно бы не в чате пришлось.
                • Sergei_Lk
                  Как химик не могу не согласиться! Помнийгоржусий - главный элнмкнт нашей периодической системы!
                  • McConst
                    Вам как химику знакомо такое химическое соединение?
                    Be La Ru S
                • Ut4J6
                  это они недавно обновили, оно раньше тоже американцев рисовало
                  теперь всё четко по уставу
                • McConst
                  Мундир как у Штирлица
                • Ut4J6
                  Comment media
                  а, нет, всё еще палится
                  • DADementr
                    И вот на такое сжигаются гигаваты мощности 🤣
  • brvalentin
    Comment media
    подтверждаю лучшая покупка прошлого года, уложился в 110к, остальная периферия была, ЛЛМ пока не успел ещё протестировать.
    • mtrnkwas
      А чем именно mini так хорош? Почему не обычный ноутбук?
      • kolbert
        Дешевле.
        • mtrnkwas
          Так лучше добавить и взять ноут. Там и дисплей, и клава и волшебный тачпад - все в одном. И в сумку можно закинуть и поехать в Таиланд.
          • kolbert
            Во первых ноут в 2 раза дороже, во вторых как бы назначение разное, миник как сервак запустил и пусть крутиться 24/7, но по мне это хрень. Если и брать мак и юзать иишку то м4макс хотябы
            • mtrnkwas
              Как сервак лучше Linux. Можно собрать намного мощнее и дешевле.
              • kolbert
                Только придется хотябы парочку 5070 прикупить )
                • mtrnkwas
                  Если для обучения, то да, придется брать Nvidia. Но для обучения Apple mini тоже не очень годится, одни мучения. Для генерации - да, но для этого есть более дешёвые решения.
                  • kolbert
                    Причём тут обучение? Просто юзать 20b, 30b сети локально.
                    • mtrnkwas
                      Просто пытаюсь понять, почему именно Apple mini. У меня стояла такая же задача - получить AI сервер для генерации. Я выбрал мини ПК на AMD Ryzen AI Max+ 395 128GB RAM. Поставил на него Linux, теперь могу запускать модели на 80-100B. Qwen3-Next-80B выдает 30 тс, GPT-OSS-120B 50 тс. Это в несколько раз быстрее, чем читает человек. Смысл покупать именно Apple mini? Только если реально нужна сверхвысокая скорость генерации. Но тогда лучше собрать кластер из Nvidia.
                      • kolbert
                        В таком контексте да, миник не нужен, есть аи 395, мак студия или на хотчбы 5070 собрать.
                        • mtrnkwas
                          Мак студия в целом нужна только в одном случае - если очень хочется запустить что-то типа Deepseek 671B. Больше ни на какой машине потребительского класса этого не добиться. Но практического смысла в этом нет, потому что скорость генерации будет крайне низкой. Тогда зачем? Есть дешёвые машины на AMD Ryzen AI Max+ 395. Логичный переход с них для получения более высокого потребительского опыта - переход на Nvidia 6000 pro или несколько 5090, но не Apple mini.
                        • mtrnkwas
                          Я это к чему. Мини имеет смысл как потребительский стационарный компьютер, который занимает мало места на столе. Во всем остальном одни минусы - не мобильный, в кафе с ним не пойдешь, для AI генерации есть решения получше.
                          • kolbert
                            Ну тут да, лучше эту сотку к мак бук про докинуть, пользы больше будет
                            • mtrnkwas
                              О том и речь. МакБук намного более универсальная и полезная вещь. И перед девочками можно понтоваться, сидя с задумчивым видом в кафе и выбирая билеты в Вену. Не попрешь же мини с монитором в кафе)))
                            • alexy_os
                              Comment media
                              Если сотку накинуть, то уж лучше m4 max тогда (не под кафе - под хоум лаб с llm)
      • brvalentin
        ноут отдельно есть, тем что ноут от сети когда работает 24/7 с двумя мониторами убивает батарею
        • mtrnkwas
          То есть цель сэкономить на батарее или собрать коллекцию Apple устройств?
          • brvalentin
            а у вас цель какая вопроса ? язвить, или реально интересуетесь?

            цель дома работать комфорто за мини-стационарником по доступной цене, и не выходить за рамки экосистемы, когда работаешь вне дома на буке. у меня ещё и телефон apple представьте себе какая наглость
            • Sergei_Lk
              Ну судя по высоким совещаниям владельцев бренда Apple запишут в иноагенты последними))
            • Ut4J6
              Настоящий русский
              Пьёт водку без закуски,
              А кто с неё блюёт —
              Тот не патриот
  • DADementr
    24 RAM 512 SSD без GPU. Не уж, спасибо🤣
  • e23book
    Да, gpu на мак мини неплох. Обучении ускоряет. Конечно не как nvidia, но уже в раз 5 быстрее чем на cpu.
  • dennedsp
    Один из минусов, пропускная способность, мало токенов в секунду получится. Лучше и дешевле собрать из серверного б/у + 3090, но только если есть место куда поставить т.к. шумновато будет.
    • kolbert
      Имхо лучше курсор оплатить за 1600 в месяц ))
      • udattsk
        на 3 дня?
        • kolbert
          За 3 дня сделаешь больше чем на модели 20b запущенной на мини, хотя на мини наверное вообще ничего не сделаешь, размера контекста не хватит.
      • dennedsp
        Смотря для чего, у каждого свои потребности, желания. Если рассматривать для работы и конфиденциальности, то домашний сервер лучше. Особенно если взять двухпроцессорную и получится что 36 ядер в 72 потока, да и оперативы от 128 нагрузить.
    • mtrnkwas
      У меня как раз такой сервер дома стоит на Supermicro 2 процессора AMD 64 ядра 512 Гб памяти+3080ti. Не для AI, он слишком медленный. Собран в корпусе Fractal Design Define 7 XL. Греется очень сильно, но спасают очень тихие вентиляторы Noctua NF-A14 PWM. Практически не слышно, но из-за тепла нельзя держать в жилом помещении, очень сильно сушит и нагревает воздух.
  • Channel_Bot
    Ну для каких простых вопросов ? У него контекстное окно с бублик будет. Этот вопрос тянет на вопрос в поисковой строке гугл. Ноль пользы от такой локальной LLM
  • AaLlleee
    20b плохо будет. С учетом что еще надо довешивать инфра..

    14b / 16b - еще ок, но и то без параллельных ии запросов. Строгий пайп
    • alexy_os
      С хорошей инфрой и фактурой yandex 8b неплохо болтает

      https://t.me/saiga_igusev_bot вот, у Ильи из Яндекса можно потестить

      Внимание: кастомные модели запускаются с холодного старта поэтому первый запрос чуток придется подождать

      Сайга 8b Яндекс на Mac M4 отлично работать должно. Только контекст реализуй как в Cursor или гоняй прямо в курсоре через оламу
      • alexy_os
        Тот кто поймет и применит алгоритмы курсора в своих проектах - порвет 95% всех стартапов посредников
      • AaLlleee
        8b отлично работает. У меня они и стоят) на m4

        Речь идет про 14b или 16 - это использую только в сложных случаях и со строгим пайплайном.

        модели всегда можно разгонять сразу после включения компа и ставит keep alive долгий
        • alexy_os
          Сайга стоит? Попробуйте сайгу от Ильи
          • AaLlleee
            у меня свои обученые на моих примерах и тд..)
            к яндексу у меня только негатив, не хочу быть заблоченным на канале.
            • alexy_os
              Без проблем. Илья вроде не работает в Яндексе

              У него сайга развивается с 22го года он инженер и ведет проект с исходным кодом

              К Яндексу отношения не имеет. Рекомендую потестить

              https://huggingface.co/IlyaGusev/saiga_yandexgpt_8b

              https://ollama.com/OxW/Saiga_YandexGPT_8B

              У него сайга и вихрь не только через яндекс, там и квен есть и гемини https://ollama.com/OxW

              Вот профиль на hf https://huggingface.co/IlyaGusev

              Из интересного: есть готовые dataset для обучения и файнтюннинга на русском языке уже проверенные временем