🧠 TinyRouter — 10K параметров, которые выбирают лучшую LLM за тебя

🧠 TinyRouter — 10K параметров, которые выбирают лучшую LLM за тебя

Проблема: у тебя 3 модели, каждая сильна в своём. Как автоматически отправлять запрос в нужную?

TinyRouter — крошечный роутер (~10K параметров), который учится эволюцией (CMA-ES), какая open-source модель лучше ответит на конкретный вопрос.

Как работает:
→ Замороженный 0.6B энкодер превращает вопрос в вектор
→ Голова на ~10K параметров выбирает модель и роль
→ До 5 раундов с верификацией
→ Обучение эволюционным алгоритмом (sep-CMA-ES)

Пул моделей:
• DeepSeek-v4-pro — знания (MMLU)
• GLM-5p2 — математика
• Kimi-k2p6 — general

Результаты (120 held-out вопросов):
• TinyRouter: 0.858 средний скор
• Лучшая одиночная модель: 0.835
• Рандомный роутинг: 0.833

Роутер бьёт каждую модель по отдельности, потому что отправляет задачу специалисту.

Стоимость всего эксперимента: $20.89 — на реальных ценах Fireworks.

Почему это круто:
Не нужен GPT-5 для роутинга. 10 тысяч параметров + эволюция = результат лучше любой одиночной модели. Работает на одном H200.

💰 Где деньги:
• Встрой роутер в свой продукт — снижай cost при росте качества
• SaaS: «умный роутер для API-запросов» — экономия 30-50% на токенах
• Консалтинг по оптимизации LLM-инфраструктуры
• Кастомные роутеры под специфические задачи клиентов

🤖 Manus AI — агент, который сам выбирает лучший путь. Попробуй.