Русский ИТ бизнес
Русский ИТ бизнес

ChatGPT имеет серьезную проблему с галлюцинациями

ChatGPT имеет серьезную проблему с галлюцинациями
ChatGPT имеет серьезную проблему с галлюцинациями. На бэндмарке AA-Omniscience от Artificial Analysis, последние модели OpenAI находятся на уровне 88–93% галлюцинации.

GPT-5.6: 88% GPT-5.6 Pro: 91% GPT-5.6 Instant: 92% GPT-5.6 Sol: 92% GPT-5.6 Ultra: 93%

Так что держите это в уме, когда просите ИИ что-то для вас сделать :)

tg / max

Комментарии (10)

  • Глухой Кот
    Глухой Кот
    Это многое объясняет в моей практике Ответить
  • Глухой Кот
    Глухой Кот
    Админ, было бы хорошо, если бы в посте на русском было обьяснение диаграммы, ибо сначала не понятно проценты какой величины указаны. Смог вчитаться в пиксели и разобраться, но это неудобно. Ответить
  • Глухой Кот
    Глухой Кот
    А еще наверняка есть источник данных, сам этот сайт, его тоже нужно указывать Ответить
  • Колеблющийся Фазан
    Колеблющийся Фазан
    Comment media
    Да уж галлюцинации Ответить
  • Чайный Кит
    Чайный Кит
    Интересно, откуда скриншот, потому что специалисты по LLM называют это «конфабуляция», а термин «галлюцинация» не отражает сути явления Ответить
  • Чёрный Блогер
    Чёрный Блогер
    в гугл поиск выдает Ответить
  • Чёрный Блогер
    Чёрный Блогер
    интересно, это шутка от гугл или что Ответить
  • Чёрный Блогер
    Чёрный Блогер
    Comment media
  • Чёрный Блогер
    Чёрный Блогер
    может это какой давний прикол и дата меняется каждый день ) Ответить
  • Заляпанный Сухарь
    Заляпанный Сухарь
    Ну вот на конкретном таске - скриншоты ингридиентов из скайрима и просьба показать рецепты наиболее подходящие по количеству цене. Так вот Flash 3.6 скомпоновал не пойми что даже выдуманный ингридиент/описание понаписывал/добавил. грок и сол нормально, грок хуже комбинировал. но ни одной галицинации я не заметил. Буквально вчера ммалой делал. )) Вообщем давно на эти тесты не смотрю, сам пробую. Ответить