Русский ИТ бизнес 👨
Подписаться
Post media
🔥 На Redit Тестируют локальные LLM для программирования: кто справился с рефакторингом?

Суть теста:
- Задача: добавить кнопку "Reset Conversation" в PyQt5 приложение
- Условия: одинаковый промпт для всех моделей, просьба предоставить полный код
- Железо: NVIDIA Tesla P40 с 24GB VRAM
- Софт: Ollama с стандартными квантованиями

Результаты распределились на три категории:

🏆 Категория 1: Идеальное выполнение
Модели предоставили полный рабочий код, правильно добавили кнопку и функционал очистки истории:

- deepseek-r1:32b
- devstral:latest
- mistral-small:24b
- phi4-reasoning:14b-plus-q8_0
- qwen3-coder:latest

⚠️ Категория 2: Работает, но с "творчеством"
Добавили кнопку, но переписали layout без запроса:

- gpt-oss:latest
- magistral:latest
- qwen3:30b-a3b

💥 Категория 3: Полный провал

- gemma3:27b-it-qat - сломал основной функционал
- phi3-medium-14b-instruct-q8 - предоставил только сниппеты вместо полного кода

Русский ИТ бизнес

Комментарии (0)

  • dreaktor
    Условия эксперимента неверные.
    Для каждой модели промт должен был быть подобран и заточен
    индивидуально
    Одинаковый промт можно было бы использовать только если одна модель это дистиллят другой