Проблемы точности при QAT-квантовании Gemma 4: анализ несоответствий и способы их минимизации

Проблемы точности при QAT-квантовании Gemma 4: анализ несоответствий и способы их минимизации
В статье разбираются причины нестабильности QAT-квантования Gemma 4, включая проблемы с imatrix и per-channel калибровкой. Даются практические рекомендации по настройке флагов, калибровке и per-layer параметрам для минимизации потери точности. Советы основаны на анализе поведения модели на длинном контексте.
Читать статью →

Подписаться на канал