Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Сервис, где можете посмотреть как быстро ваш ПК сможет работать с локальными ИИ... Но я пока прикладного смысла в этом не вижу, облака мощнее и проще. Но если вы параноик или гик - вполне себе можно подобрать подходящую локальную модель под ваш ПК.

Русский ИТ бизнес
0/11 Открыть в Telegram

Комментарии (0)

  • dennedsp
    Так для конфиденциальности используют, чтобы лишнюю инфу в сеть не сливать. Даже компании многие так делают и при том ещё и модели под себя обучают чтобы со своим же RAG работала.
    • 319943816
      Тоже для конфиденциальности использую, конфиги генерирую если они ключи и прочие чувствительные данные содержат.
      + Иногда какую-то простую классификацию данных нужно сделать, изображений или текстов. Промт накидал на ночь оставил, утром готово.
      Причем супер крутых видео карт или сборок для этого не нужно уже, последние модельки от Гугла например лёгкие и толковые для этих целей.
      • dennedsp
        Да достаточно уже и китайских серверных сборок что на двух процессорах и оперативы побольше.
        Сейчас ожидание проекта и мысли разные какой стенд делать либо на серверном либо на свежем но уже с Quadro RTX A4000, т.к. на большее по финансам пока не выходит, но модельку будем обучать под себя и RAG будет достаточно большим.
        • mtrnkwas
          Обучение и инференс на ЦПУ медленный.
          • dennedsp
            Для обучения будем использовать сторонние сервера ,т.к. данные для обучения общедоступные, только структурированы по нашим требованиям, все самое главное будет в базе знаний. По нашим примерным прикидкам даже модели 7B будет достаточно на начальном этапе. поэтому больше склоняемся к видеокарте т.к. в нее она полностью поместится.
            • mtrnkwas
              Для такой модели скорее всего даже 3090 подойдёт. Они сейчас подержанные недорого стоят.
              • dennedsp
                Должна, но там характеристики для использования ИИ мало подходят, а профессиональные заточены прям под это.
      • mtrnkwas
        Какие модели могли бы порекомендовать?
        • 319943816
          Да на самом деле всё зависит от задачи, для повседневных подручных задач в основном использую сейчас gemma-3n мультимодальная и быстрая, хорошо соблюдает инструкции