🧠 Карпати: почему гигантские ИИ-модели — это костыль, а не прогресс

🧠 Карпати: почему гигантские ИИ-модели — это костыль, а не прогресс

Андрей Карпати озвучил провокационный тезис: передовые модели огромные не потому, что задача сложная. А потому, что данные для их обучения — это цифровая помойка.

### 🗑️ Реальность датасетов
Когда мы представляем обучение ИИ, в голове всплывают статьи из WSJ, Википедия, научные публикации.

Реальность: откройте случайные документы из корпуса для предобучения, и вы увидите:
• Битый HTML и сломанную вёрстку
• Биржевые тикеры без контекста
• Спам, ботов, бессвязный машинный текст
• Дубли, ошибки, противоречия

### 🔑 Главный вывод
> Триллион параметров нужен не для интеллекта. А как движок сжатия, способный выжать смысл из потока мусора.

Большая часть параметров работает как банальная память, а не как механизм мышления.

### 💡 Решение от Карпати: «Разрубить узел»
Построить компактное когнитивное ядро (~1 млрд параметров), в котором останутся только:
✅ Алгоритмы рассуждения
✅ Механизмы решения задач
✅ Способность к обучению

А всю фактологию вынести во внешнюю память, к которой модель обращается по необходимости (RAG, векторные БД, API знаний).

### 📊 Факты, которые подтверждают гипотезу:
| Модель | Оценка параметров | Эффективность |
|--------|------------------|---------------|
| GPT-4 (2023) | ~1.8T | Базовый уровень |
| GPT-4o (2024) | ~200B | Выше качество, ниже стоимость |
| Стоимость inference | ↓ | Упала в 280 раз за 2 года |

Весь выигрыш дали: компактные архитектуры + чистые данные + продуманный дизайн, а не слепое наращивание параметров.

### 🎯 Что это значит для рынка и инвесторов:
🔹 Снижение барьеров: маленькие умные модели = дешевле инференс = больше стартапов
🔹 Новая инфраструктура: рост спроса на векторные БД, RAG-оркестраторы, системы управления знаниями
🔹 Локальный ИИ: компактные ядра + внешняя память = мощный ИИ на вашем устройстве
🔹 Нишевые решения: вместо универсальных гигантов — специализированные агенты с доступом к актуальным данным

### 🧭 Прогноз
> *«Для настоящего интеллекта хватит ~1 млрд параметров, если обучить их на качественных данных»* — А. Карпати

Будущее, возможно, не за моделями-гигантами, а за маленькими и умными ядрами, которым не нужно помнить весь мусор интернета.

---
🔗 *Источник: подкаст Dwarkesh Patel, октябрь 2025. Интерпретация для @ai_hub_money*

#ИИ #Karpathy #AIInfrastructure #TechAnalysis #Investing

🟪 MAX ❤ TG