Выбор AMD EPYC для инференса LLM: 9374F vs 9135 — что скрывают цифры CCD?

Выбор AMD EPYC для инференса LLM: 9374F vs 9135 — что скрывают цифры CCD?
Скорость генерации токенов упирается в пропускную способность памяти, а не в частоту ядер — смотрите на ГБ/с, а не на количество ядер.
Обратите внимание на количество CCD: 9374F имеет 4 чиплета, 9135 — 2, что увеличивает меж-CCD латентность при работе с большими моделями.
В llama.cpp каждый следующий токен зависит от предыдущего — распараллеливание невозможно, лишние ядра бесполезны, если узкое место — память.
Выбирайте EPYC с максимальной пропускной способностью и минимальным числом CCD для вашей модели, чтобы избежать падения скорости.
Проверяйте реальные тесты: теоретические 600 ГБ/с на 9374F могут дать лишь 2 токена/с на 70B модели из-за архитектурных ограничений.
Читать статью →

Подписаться на канал