Русский ИТ бизнес
Русский ИТ бизнес

Инструмент для подбора LLM-моделей под конкретное железо

Инструмент для подбора LLM-моделей под конкретное железо
Инструмент для подбора LLM-моделей под конкретное железо.

Определяет параметры системы — RAM, CPU, GPU, в том числе конфигурации с несколькими GPU — и оценивает каждую модель по четырём критериям: качество, скорость, соответствие ресурсам и контекст.
Результат — список моделей, которые реально запустятся на данной машине.

Вот - https://github.com/AlexsJones/llmfit

tg / max

Комментариев пока нет.