EMO — новая MoE-модель с эмерджентной модульностью: обзор архитектуры и как использовать 12.5%

EMO — новая MoE-модель с эмерджентной модульностью: обзор архитектуры и как использовать 12.5% экспертов

Модель от Allen AI и University of Washington сама формирует группы экспертов под конкретную задачу, активируя всего 12.5% параметров без потери качества. Веса уже доступны на HuggingFace, что позволяет запустить её на своей видеокарте для генерации текста.

Ограничение: эксперты в EMO не фиксированы, а возникают динамически, что затрудняет интерпретацию и предсказуемость поведения.

Читать статью →

Подписаться на канал