🔥 На Redit Тестируют локальные LLM для программирования: кто справился с рефакторингом?
Суть теста:
- Задача: добавить кнопку "Reset Conversation" в PyQt5 приложение
- Условия: одинаковый промпт для всех моделей, просьба предоставить полный код
- Железо: NVIDIA Tesla P40 с 24GB VRAM
- Софт: Ollama с стандартными квантованиями
Результаты распределились на три категории:
🏆 Категория 1: Идеальное выполнение
Модели предоставили полный рабочий код, правильно добавили кнопку и функционал очистки истории:
- deepseek-r1:32b
- devstral:latest
- mistral-small:24b
- phi4-reasoning:14b-plus-q8_0
- qwen3-coder:latest
⚠️ Категория 2: Работает, но с "творчеством"
Добавили кнопку, но переписали layout без запроса:
- gpt-oss:latest
- magistral:latest
- qwen3:30b-a3b
💥 Категория 3: Полный провал
- gemma3:27b-it-qat - сломал основной функционал
- phi3-medium-14b-instruct-q8 - предоставил только сниппеты вместо полного кода
Русский ИТ бизнес
Русский ИТ бизнес 👨
Подписаться

Комментарии (0)
Для каждой модели промт должен был быть подобран и заточен
индивидуально
Одинаковый промт можно было бы использовать только если одна модель это дистиллят другой