Русский ИТ бизнес
Русский ИТ бизнес
Post media

Покупаете такую штуку и помимо любых других целей (дизайн, разработка, монтаж и тп) у вас абсолютно

Покупаете такую штуку и помимо любых других целей (дизайн, разработка, монтаж и тп) у вас абсолютно без проблем будет работать локальная ИИ уровня GPT-OSS:20b для простых вопросов и ответов.

Никаких облаков и подписок. Ваши вопросы не утекут в файлы Эпштейна.

Русский ИТ бизнес

Комментарии (63)

  • Вышитый Геймер
    Вышитый Геймер
    Про Эпштейна хорошее дополнение, на злобу дня)
    А распределенную можно сделать? Если купить полдюжины?)
  • Экологичный Боб
    Экологичный Боб
    Джимини ещё норм, а чат джпт постоянно врет
  • Зевающий Ленивец
    Зевающий Ленивец
    Можно Алису бесплатно использовать или гигакод, не?))
    • Экологичный Священник
      Экологичный Священник
      а чем они от буржуйских отличаются?
      • Зевающий Ленивец
        Зевающий Ленивец
        Тут речь про купить мак мини ради модели 20b для "простых ответов".
        • Экологичный Священник
          Экологичный Священник
          Comment media
          в условиях, когда "отечественная ии" выдает вот такие ответы, волей-неволей возникает желание запускать всё локально
      • Вышитый Геймер
        Вышитый Геймер
        Ценой) как передовая в ИИстрана, догоняющая Никарагуа (статистика мелкософта, не я придумал) токены российские самые дорогие (можно погуглить тему или спрочить дипсик или алису 😂)
        Но Алиса могёт (мультяшки забавные, по крайней мере) а вот гига...
        • Экологичный Священник
          Экологичный Священник
          не оч понимаю, как гига и алиса соотносятся со страной Российская Федерация
          • Зевающий Ленивец
            Зевающий Ленивец
            Серваки в РФ
            • Экологичный Священник
              Экологичный Священник
              ну у гугла тоже
              • Зевающий Ленивец
                Зевающий Ленивец
                Нет, тем более Джемини без впн в РФ не доступен
                • Экологичный Священник
                  Экологичный Священник
                  у меня есть свидетель, который видел оборудование гугла в краснодаре своими глазами. может там видео хранят
          • Добрый Павлин
            Добрый Павлин
            Полностью сберовская разработка в РФ. выложены в OpnSRC
            • Экологичный Священник
              Экологичный Священник
              Comment media
              вопросов больше не имею
              • Добрый Павлин
                Добрый Павлин
                Ну идеальная генерация как по мне я ошибок не вижу
                • Зевающий Ленивец
                  Зевающий Ленивец
                  Звезды не звезды
                  • Добрый Павлин
                    Добрый Павлин
                    Ну это мелочи, за взглядом солнцеликого не заметны
                    • Зевающий Ленивец
                      Зевающий Ленивец
                      Ну того чела просто от темнейшего бомбит )
                  • Лавандовый Ворон
                    Лавандовый Ворон
                    Это воровские😉

                    П.с.: Владмир Владимирович, только шутки, ничего больше
                • Лавандовый Ворон
                  Лавандовый Ворон
                  Еще бы были вопросы, получать на них ответы, точно бы не в чате пришлось.
                • Вышитый Геймер
                  Вышитый Геймер
                  Как химик не могу не согласиться! Помнийгоржусий - главный элнмкнт нашей периодической системы!
                  • Океанический Гоблин
                    Океанический Гоблин
                    Вам как химику знакомо такое химическое соединение?
                    Be La Ru S
                • Экологичный Священник
                  Экологичный Священник
                  это они недавно обновили, оно раньше тоже американцев рисовало
                  теперь всё четко по уставу
                • Океанический Гоблин
                  Океанический Гоблин
                  Мундир как у Штирлица
                • Экологичный Священник
                  Экологичный Священник
                  Comment media
                  а, нет, всё еще палится
                  • Добрый Павлин
                    Добрый Павлин
                    И вот на такое сжигаются гигаваты мощности 🤣
  • Покинутый Вепрь
    Покинутый Вепрь
    Comment media
    подтверждаю лучшая покупка прошлого года, уложился в 110к, остальная периферия была, ЛЛМ пока не успел ещё протестировать.
    • Пряный Единорог
      Пряный Единорог
      А чем именно mini так хорош? Почему не обычный ноутбук?
      • Зевающий Ленивец
        Зевающий Ленивец
        Дешевле.
        • Пряный Единорог
          Пряный Единорог
          Так лучше добавить и взять ноут. Там и дисплей, и клава и волшебный тачпад - все в одном. И в сумку можно закинуть и поехать в Таиланд.
          • Зевающий Ленивец
            Зевающий Ленивец
            Во первых ноут в 2 раза дороже, во вторых как бы назначение разное, миник как сервак запустил и пусть крутиться 24/7, но по мне это хрень. Если и брать мак и юзать иишку то м4макс хотябы
            • Пряный Единорог
              Пряный Единорог
              Как сервак лучше Linux. Можно собрать намного мощнее и дешевле.
              • Зевающий Ленивец
                Зевающий Ленивец
                Только придется хотябы парочку 5070 прикупить )
                • Пряный Единорог
                  Пряный Единорог
                  Если для обучения, то да, придется брать Nvidia. Но для обучения Apple mini тоже не очень годится, одни мучения. Для генерации - да, но для этого есть более дешёвые решения.
                  • Зевающий Ленивец
                    Зевающий Ленивец
                    Причём тут обучение? Просто юзать 20b, 30b сети локально.
                    • Пряный Единорог
                      Пряный Единорог
                      Просто пытаюсь понять, почему именно Apple mini. У меня стояла такая же задача - получить AI сервер для генерации. Я выбрал мини ПК на AMD Ryzen AI Max+ 395 128GB RAM. Поставил на него Linux, теперь могу запускать модели на 80-100B. Qwen3-Next-80B выдает 30 тс, GPT-OSS-120B 50 тс. Это в несколько раз быстрее, чем читает человек. Смысл покупать именно Apple mini? Только если реально нужна сверхвысокая скорость генерации. Но тогда лучше собрать кластер из Nvidia.
                      • Зевающий Ленивец
                        Зевающий Ленивец
                        В таком контексте да, миник не нужен, есть аи 395, мак студия или на хотчбы 5070 собрать.
                        • Пряный Единорог
                          Пряный Единорог
                          Мак студия в целом нужна только в одном случае - если очень хочется запустить что-то типа Deepseek 671B. Больше ни на какой машине потребительского класса этого не добиться. Но практического смысла в этом нет, потому что скорость генерации будет крайне низкой. Тогда зачем? Есть дешёвые машины на AMD Ryzen AI Max+ 395. Логичный переход с них для получения более высокого потребительского опыта - переход на Nvidia 6000 pro или несколько 5090, но не Apple mini.
                        • Пряный Единорог
                          Пряный Единорог
                          Я это к чему. Мини имеет смысл как потребительский стационарный компьютер, который занимает мало места на столе. Во всем остальном одни минусы - не мобильный, в кафе с ним не пойдешь, для AI генерации есть решения получше.
                          • Зевающий Ленивец
                            Зевающий Ленивец
                            Ну тут да, лучше эту сотку к мак бук про докинуть, пользы больше будет
                            • Пряный Единорог
                              Пряный Единорог
                              О том и речь. МакБук намного более универсальная и полезная вещь. И перед девочками можно понтоваться, сидя с задумчивым видом в кафе и выбирая билеты в Вену. Не попрешь же мини с монитором в кафе)))
                            • Робкий Киллер
                              Робкий Киллер
                              Comment media
                              Если сотку накинуть, то уж лучше m4 max тогда (не под кафе - под хоум лаб с llm)
      • Покинутый Вепрь
        Покинутый Вепрь
        ноут отдельно есть, тем что ноут от сети когда работает 24/7 с двумя мониторами убивает батарею
        • Пряный Единорог
          Пряный Единорог
          То есть цель сэкономить на батарее или собрать коллекцию Apple устройств?
          • Покинутый Вепрь
            Покинутый Вепрь
            а у вас цель какая вопроса ? язвить, или реально интересуетесь?

            цель дома работать комфорто за мини-стационарником по доступной цене, и не выходить за рамки экосистемы, когда работаешь вне дома на буке. у меня ещё и телефон apple представьте себе какая наглость
            • Вышитый Геймер
              Вышитый Геймер
              Ну судя по высоким совещаниям владельцев бренда Apple запишут в иноагенты последними))
            • Экологичный Священник
              Экологичный Священник
              Настоящий русский
              Пьёт водку без закуски,
              А кто с неё блюёт —
              Тот не патриот
  • Добрый Павлин
    Добрый Павлин
    24 RAM 512 SSD без GPU. Не уж, спасибо🤣
  • Глухой Гуру
    Глухой Гуру
    Да, gpu на мак мини неплох. Обучении ускоряет. Конечно не как nvidia, но уже в раз 5 быстрее чем на cpu.
  • Циничный Бегемот
    Циничный Бегемот
    Один из минусов, пропускная способность, мало токенов в секунду получится. Лучше и дешевле собрать из серверного б/у + 3090, но только если есть место куда поставить т.к. шумновато будет.
    • Зевающий Ленивец
      Зевающий Ленивец
      Имхо лучше курсор оплатить за 1600 в месяц ))
      • Железный Сокол
        Железный Сокол
        на 3 дня?
        • Зевающий Ленивец
          Зевающий Ленивец
          За 3 дня сделаешь больше чем на модели 20b запущенной на мини, хотя на мини наверное вообще ничего не сделаешь, размера контекста не хватит.
      • Циничный Бегемот
        Циничный Бегемот
        Смотря для чего, у каждого свои потребности, желания. Если рассматривать для работы и конфиденциальности, то домашний сервер лучше. Особенно если взять двухпроцессорную и получится что 36 ядер в 72 потока, да и оперативы от 128 нагрузить.
    • Пряный Единорог
      Пряный Единорог
      У меня как раз такой сервер дома стоит на Supermicro 2 процессора AMD 64 ядра 512 Гб памяти+3080ti. Не для AI, он слишком медленный. Собран в корпусе Fractal Design Define 7 XL. Греется очень сильно, но спасают очень тихие вентиляторы Noctua NF-A14 PWM. Практически не слышно, но из-за тепла нельзя держать в жилом помещении, очень сильно сушит и нагревает воздух.
  • Лохматый Осьминог
    Лохматый Осьминог
    Ну для каких простых вопросов ? У него контекстное окно с бублик будет. Этот вопрос тянет на вопрос в поисковой строке гугл. Ноль пользы от такой локальной LLM
  • Мягкий Бизон
    Мягкий Бизон
    20b плохо будет. С учетом что еще надо довешивать инфра..

    14b / 16b - еще ок, но и то без параллельных ии запросов. Строгий пайп
    • Робкий Киллер
      Робкий Киллер
      С хорошей инфрой и фактурой yandex 8b неплохо болтает

      https://t.me/saiga_igusev_bot вот, у Ильи из Яндекса можно потестить

      Внимание: кастомные модели запускаются с холодного старта поэтому первый запрос чуток придется подождать

      Сайга 8b Яндекс на Mac M4 отлично работать должно. Только контекст реализуй как в Cursor или гоняй прямо в курсоре через оламу
      • Робкий Киллер
        Робкий Киллер
        Тот кто поймет и применит алгоритмы курсора в своих проектах - порвет 95% всех стартапов посредников
      • Мягкий Бизон
        Мягкий Бизон
        8b отлично работает. У меня они и стоят) на m4

        Речь идет про 14b или 16 - это использую только в сложных случаях и со строгим пайплайном.

        модели всегда можно разгонять сразу после включения компа и ставит keep alive долгий
        • Робкий Киллер
          Робкий Киллер
          Сайга стоит? Попробуйте сайгу от Ильи
          • Мягкий Бизон
            Мягкий Бизон
            у меня свои обученые на моих примерах и тд..)
            к яндексу у меня только негатив, не хочу быть заблоченным на канале.
            • Робкий Киллер
              Робкий Киллер
              Без проблем. Илья вроде не работает в Яндексе

              У него сайга развивается с 22го года он инженер и ведет проект с исходным кодом

              К Яндексу отношения не имеет. Рекомендую потестить

              https://huggingface.co/IlyaGusev/saiga_yandexgpt_8b

              https://ollama.com/OxW/Saiga_YandexGPT_8B

              У него сайга и вихрь не только через яндекс, там и квен есть и гемини https://ollama.com/OxW

              Вот профиль на hf https://huggingface.co/IlyaGusev

              Из интересного: есть готовые dataset для обучения и файнтюннинга на русском языке уже проверенные временем