Умные (без иронии) люди тестировали Llama 3.2:1b на разных компактных компьютерах (мини- ПК).

Например, Raspberry Pi 5 выдает около 7.5 токенов в секунду. Orange Pi 5 Ultra - уже 12 токенов. Самый мощный из доступных - Jetson Orin Nano, с графикой он разгоняется до 26 токенов в секунду. А это уже близко к обычному ПК с i7, у которого 19.5 токенов. При этом старенький Orange Pi RV2 выдает всего 1 токен в секунду.

Для сравнения, Mac с чипом M1 Pro показывает аж 111 токенов в сек. благодаря комбинации CPU и GPU.

Но что реально круто - даже малыш Pi 5 уже позволяет делать что-то полезное с ИИ без подключения к облакам.

Вот здесь, как мне кажется, зарыты огромные перспективы для роботостроения :)

Русский ИТ бизнес