KVCache и Engram: как будущие оптимизации моделей могут снизить требования к VRAM

KVCache и Engram: как будущие оптимизации моделей могут снизить требования к VRAM

Разбираем, как KVCache и гипотетический Engram могут влиять на расход VRAM при запуске LLM. Считаем логику требований для модели 30B в Q8 с контекстом 256K, пок

Читать статью →

Подписаться на канал