Hugging Face перевёл Inference Providers на роутер OpenRouter
Hugging Face переключил запросы к языковым моделям с собственного кастомного роутера на роутер OpenRouter: тот выбирает провайдера под каждый вызов по live-измерениям цены, скорости и надёжности среди 80+ провайдеров и делает ретрай на другого, если первый не сработал. Любая open-weight модель на Hub, которую обслуживает провайдер, вызывается вашим Hugging Face токеном через тот же API, а роутер поддерживает OpenAI Chat Completions и Responses API и Anthropic Messages API для любой чат-модели — независимо от провайдера под ней.
Почему важно: выбор провайдера и ретрай при сбое отданы роутеру, код при этом не меняется — можно не держать свою логику выбора провайдера. Плюс покрытие сразу трёх API-форматов снимает вопрос совместимости SDK при работе с открытыми весами.
26B-модели на мини-ПК через Shared GPU Memory Override
На GEEKOM GT1 Mega (Intel Core Ultra 9 185H, 16 ядер / 22 потока до 5,1 ГГц, встроенная Arc Graphics на 8 ядер Xe с NPU, 32 ГБ двухканальной DDR5-5600) автор запускал LLM на 26B/27B — в три-четыре раза крупнее, чем влезали на видеокарту с 8 ГБ VRAM. Ключевой момент: Windows по умолчанию отдаёт встроенной графике около половины ОЗУ (Ollama видела 18 ГБ из 32 и падала с ошибкой нехватки памяти), а в Intel Graphics Software → Настройки → Система параметр Shared GPU Memory Override позволяет отдать iGPU более 80% памяти.
Почему важно: если локальный инференс упирается в ошибку нехватки памяти, причина может быть не в модели, а в дефолтном лимите памяти для встроенной графики — он меняется в настройках Intel Graphics Software. Автор использовал это, чтобы помещать модели в три-четыре раза крупнее прежних.
Нюанс миграции из первого материала: объявлен breaking change для custom provider keys — если вы прокидывали собственные ключи провайдеров, это надо перепроверить. Готовые setup-гайды HF публикует под Claude Code, Codex, OpenCode, Pi и Hermes Agent, а тот же токен даёт Storage Buckets, Jobs и Inference Endpoints; на PRO, Team и Enterprise есть месячные кредиты на compute и инференс.
💳 Карта для оплаты AI
Комментариев пока нет.