Пределы сжатия интеллекта: возможен ли ИИ уровня Claude Fable в 20B параметров?

Пределы сжатия интеллекта: возможен ли ИИ уровня Claude Fable в 20B параметров?
Модели 7B-13B упираются в потолок на multi-hop reasoning и агентных сценариях — требуется 30-100B параметров
Ориентиры: Llama 3.1-70B (86 MMLU, 81.7 HumanEval), Mistral Large (89.2 MMLU)
Разрыв между 20B и Claude Opus 5 колоссальный: ARC-AGI-3 — 1.5% у Opus 4.8 против 30.2% у Opus 5
К 2035 году сжатие до 20B теоретически возможно, но маловероятно даже с MoE, дистилляцией и квантованием
Читать статью →

Подписаться на канал