llama.cpp b9978: Исправление бага чекпоинтов контекста, которое спасает агентов от амнезии

llama.cpp b9978: Исправление бага чекпоинтов контекста, которое спасает агентов от "амнезии"

Фикс в llama.cpp b9978 устраняет коллапс окна контекста при tool calling, экономя память и ускоряя агентные циклы. Чекпоинты теперь создаются только при необходимости, а откаты не требуют перезапуска всего промпта.

Однако при очень длинных цепочках вызовов инструментов всё ещё возможно накопление чекпоинтов, если не настроены ограничения на их количество.

Читать статью →

Подписаться на канал