Delta Weight Sync в TRL: как сократить передачу данных при async RL обучении с 1 ТБ до 35 МБ

Delta Weight Sync в TRL: как сократить передачу данных при async RL обучении с 1 ТБ до 35 МБ

Новый механизм в библиотеке TRL от Hugging Face позволяет синхронизировать веса в распределённом обучении с подкреплением, передавая только дельту — разницу между предыдущей и текущей версией параметров. Это сокращает объём трафика с сотен гигабайт до десятков мегабайт, превращая асинхронное RL из синхронизационного кошмара в практичный инструмент. Метод особенно эффективен для крупных LLM, так как после тонкой настройки более 99% весов остаются неизменными между итерациями.

Условие эффективности — малые изменения весов между синхронизациями; при значительных обновлениях дельта может стать большой, и экономия трафика снижается.

Читать статью →

Подписаться на канал