27B без дообучения vs 75B с дообучением: почему меньший размер бьёт больший в агентных задачах

27B без дообучения vs 75B с дообучением: почему меньший размер бьёт больший в агентных задачах

Исследование на бенчмарке ITBench-AA показало, что 27B модель без дообучения превосходит 75B модель, прошедшую специализированное обучение tool-calling, на 12% в агентных IT-задачах. Это означает, что для автономных AI-агентов размер модели не гарантирует лучшую производительность, а качество дообучения может быть решающим. Рекомендуется при выборе модели учитывать не только число параметров, но и соответствие обучающих данных реальным сценариям.

Основное ограничение: результат получен на конкретном бенчмарке и может не распространяться на задачи, требующие глубинного понимания контекста или сложных рассуждений.

Читать статью →

Подписаться на канал