Как исправить тихую неточность вычислений на Tesla P100 в llama.cpp с помощью TurboQuant

Как исправить тихую неточность вычислений на Tesla P100 в llama.cpp с помощью TurboQuant

Обнаружена тихая неточность (silent inaccuracy) в llama.cpp на видеокартах Tesla P100 с архитектурой Pascal, вызванная эмуляцией fp16, что приводит к ухудшению качества генерации моделей. TurboQuant v0.3.0 решает эту проблему, обеспечивая корректные вычисления с плавающей точкой. Инструмент предназначен для владельцев P100, желающих запускать LLM без потери качества.

Ограничение: баг проявляется не во всех случаях, а только при определённых вычислительных сценариях, поэтому рекомендуется проверять перплексию до и после применения TurboQuant.

Читать статью →

Подписаться на канал