RLHF для 20B LLM на одной GPU 24 ГБ: PEFT, 8-битная квантизация и LoRA-адаптеры

RLHF для 20B LLM на одной GPU 24 ГБ: PEFT, 8-битная квантизация и LoRA-адаптеры
Описано, как выполнить RLHF для 20B-параметрической модели на одной видеокарте с 24 ГБ памяти с помощью PEFT, 8-битной квантизации и LoRA-адаптеров с disable_adapters. Приведён практический конвейер от загрузки модели до сентимент-финтюнинга с PPO на датасете IMDB.
Это снижает требования к VRAM со 120–160 ГБ до потребительского уровня, позволяя проводить полный цикл обучения без аренды кластера.
Читать статью →

Подписаться на канал