Promptchain: автоматическое управление загрузкой и выгрузкой LLM на одной GPU

Promptchain: автоматическое управление загрузкой и выгрузкой LLM на одной GPU
1. Установите библиотеку через pip и запустите MCP-сервер для интеграции с любыми AI-агентами.
2. Опишите набор моделей в конфиге, задав каждой приоритет и лимит по VRAM.
3. Promptchain автоматически загружает вызванную модель и выгружает неактивные по стратегии LRU, освобождая память.
4. Защитите критичные модели от вытеснения, настроив политики удержания и атомарной подмены целых групп.
5. Работайте с десятком локальных LLM как с единым пулом, без ручного мониторинга VRAM и костыльных скриптов.
Читать статью →

Подписаться на канал