✓ Работает с Claude Code, Codex и Cursor
✓ Поддерживает сжатие токенов
✓ Доступно 50 провайдеров
100% опенсорс - но я не тестировал. Кто работал?
tg / max

✓ Работает с Claude Code, Codex и Cursor
✓ Поддерживает сжатие токенов
✓ Доступно 50 провайдеров
Комментарии (6)
https://github.com/diegosouzapw/OmniRoute/blob/release/v3.8.49/docs/guides/USER_GUIDE.md
Суть: нужно зарегистрироваться во всех ИИ сервисах и подключить в этот движок, потом юзать как один порт. Некоторые провайдеры раздают безлимит такие как Кими 2.7
Теряется самое главное - контекст и кэш, фокусировка уже настроенной модели. Каждая качественная LLM хранит кэш контекста у себя за счет чего, ИИ держит фокус и контекст в истории чата или цепочке вайбкодинга. А здесь авто роутинг "доступных" моделей, которые каждый раз заново читают запрос и предыдущие сообщения и заново настраиваются. Но для рутинных задач, там где не нужна точность - штука отличная. Можно юзать как готовый каталог доступных бесплатных лимитов у разных провайдеров
https://t.me/Russian_IT_Business/457580
И вот, мы здесь в чате строим Context Runtime как раз для этих целей: роутить любые модели (сильные и слабые) без потери фокусировки и контекста
сначала на claude code работал, сейчас hermes, полёт нормальный, всем доволён, эндпойнт открыл наружу, давал друзьям доступы к некоторым нейронкам, да и сама нейронка настраивала мне разные комбинации для nonstop кодингда через loop промтинг
codex для ручного выбора, nvidia; и другие бесплатные эндпойнты как для автономных исследований, так и для тестирования гипотез ночью, пока я сплю, и TPS быстрый)