AI-дайджест · 24 июня

AI-дайджест · 24 июня

LLM галлюцинируют цифры: как это лечить
Автор провёл «допрос» Claude Desktop, выявив, что модели склонны выдумывать числовые данные в таблицах. Решение — жёсткая валидация на этапе постобработки и промпты с явным запретом на аппроксимацию.
Читать на Habr →

Практический хак: если модель упорно «округляет» данные, добавьте в системный промпт требование возвращать «UNKNOWN» при неуверенности — это снижает галлюцинации на 40%.
Собрал бенчмарк из своих сессий: дешёвые модели обошли дорогие
Разработчик проанализировал 2 месяца работы с AI-ассистентами и создал персональный тест. Результат: Claude Haiku и GPT-4o mini показали точность выше GPT-4 Turbo в 70% задач кода.
Читать →

5 проверок для тестирования LLM в продакшене
Практическое руководство: от проверки на токсичность до теста на «забывание» контекста. Ключевой совет — прогонять модели на синтетических датасетах с известными ответами до деплоя.

Источник: Habr AI/ML