Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Post media
Что думаете ? Я не уверен … Мнение на картинке по локальным ИИ.

Мы раньше игрались в локальные ИИ, но качество работы на своем железе просто не сравнимо с облачными ИИ. Карты продали, перекрестились и спокойно работаем с облаками по API. Я думал купить несколько Mac Mini, поставить в офисе и там крутить ИИ, но блин, могучую нейронку там не запустить, только урезанные варианты с мутным качеством.

Русский ИТ бизнес
0/8 Открыть в Telegram

Комментарии (0)

  • oneastok
    Инференс?
  • kolbert
    ну как только амд выпустит хорошие и дешевые видяхи с 32гб памяти, так возможно и получится, на нвидию надежд нет, она бабки рубит)
  • Gromgard
    Пока не сравнимо. В будущем утилитарные задачи вполне будут решаться локально.
  • nutanix
    MAC mini плохой выбор, лучшее сочетание цена/скорость это 3090 24GB.
  • aefia
    ахаха какая конфиденциальность. наплевать
    • Gromgard
      Неделю назад общался с контрагентом который мне заявил - какие нафиг 1с? У них же все сервера в облаке. Все наши данные утекут.
      • kain2255
        особо параноидальные клиенты любят у себя серверы держать )
  • WebDevelopment_Pekarskiy
    API только для открытых данных. Вся корпоративная тайна, переписка, данные клиентов по api не дадут использовать, только локально. Rag а лучше до обучение небольших моделей.
  • pumdev
    Мне кажется локальный ИИ будет хорошо для поиска (Да-да) в локальной базе документов. У меня 40гб документации по разным железкам и программам. И десктоп поиск работает так себе. Особенно когда смутно помнишь что объект поиска есть, но хрен знает как сформулировать поисковый запрос. Да еще куча собственноручно сделаных набросков (картинок), с полезной инфой, но её хрен найдет текстовый поиск.
    • nutanix
      Это эмбединг каждого документа нужен в qdrant
      www.youtube com/watch?v=o9pszzRuyjo
      • nutanix
        qdrant пожалуй самый быстрый вектор стор, если много надо.
  • rznvlxndr
    Я верю в небольшие локальные модели для узких задач, которые будут в условном смартфоне и работать на его процессоре
  • pumdev
    Это же только частный случай. А взять организацию и поиск в документах это... почти бесполезная затея.
  • Dmitrii_Mihalev
    Макс будущее за локальными ИИ, НО которые натренеровал тот же Сема дырявый, чтобы он рекламу тебе правильную показывал НА ЛОКАЛЬНОЙ машине.
  • knstntnpkrn
    Простому юзеру важна конфиденциальность и...

    похрен на нее простому юзеру, удобство главное, а оно за облачными решениями пока что
  • mike_kozyakov
    А я тогда про карточки говорил) в смысле писал.
    Но сам тоже потом повелся, купил парочку:)) Хорошая была цена на Мегамаркете.
    В итоге одну себе в комп вставил, одну продал.