MiniMind — один из самых интересных open-source проектов для тех, кто хочет понять, как на самом

MiniMind — один из самых интересных open-source проектов для тех, кто хочет понять, как на самом деле работают современные LLM.
Можно полностью с нуля натренировать рабочую модель на 64M параметров (с tool calling и thinking) всего за ~2 часа на одной RTX 3090. Стоимость тренировки — около 3 рублей.
Всё сделано на чистом PyTorch, без тяжёлых чёрных ящиков. Полный пайплайн:
• Pre-training
• SFT
• LoRA
• DPO / PPO / GRPO / CISPO
• Agentic RL с инструментами

Есть поддержка thinking-тэгов и нормальная работа с tool calls прямо из коробки. Плюс есть версии с зрением (MiniMind-V) и даже Omni-модель (текст + картинки + голос).
Модель компактная, но для экспериментов, локального запуска и глубокого понимания — очень достойный вариант.
Репа:
Кто уже пробовал тренировать мини-модели или использует что-то подобное в своих агентах — пишите опыт в комментах.