Инференс?

ну как только амд выпустит хорошие и дешевые видяхи с 32гб памяти, так возможно и получится, на нвидию надежд нет, она бабки рубит)

Пока не сравнимо. В будущем утилитарные задачи вполне будут решаться локально.

MAC mini плохой выбор, лучшее сочетание цена/скорость это 3090 24GB.

ахаха какая конфиденциальность. наплевать

API только для открытых данных. Вся корпоративная тайна, переписка, данные клиентов по api не дадут использовать, только локально. Rag а лучше до обучение небольших моделей.

Мне кажется локальный ИИ будет хорошо для поиска (Да-да) в локальной базе документов. У меня 40гб документации по разным железкам и программам. И десктоп поиск работает так себе. Особенно когда смутно помнишь что объект поиска есть, но хрен знает как сформулировать поисковый запрос. Да еще куча собственноручно сделаных набросков (картинок), с полезной инфой, но её хрен найдет текстовый поиск.

Я верю в небольшие локальные модели для узких задач, которые будут в условном смартфоне и работать на его процессоре

Это же только частный случай. А взять организацию и поиск в документах это... почти бесполезная затея.

Макс будущее за локальными ИИ, НО которые натренеровал тот же Сема дырявый, чтобы он рекламу тебе правильную показывал НА ЛОКАЛЬНОЙ машине.

Простому юзеру важна конфиденциальность и...

похрен на нее простому юзеру, удобство главное, а оно за облачными решениями пока что

А я тогда про карточки говорил) в смысле писал.
Но сам тоже потом повелся, купил парочку:)) Хорошая была цена на Мегамаркете.
В итоге одну себе в комп вставил, одну продал.