Как принудительно привязать ИИ к фактам: три защитных контура против галлюцинаций

Как принудительно привязать ИИ к фактам: три защитных контура против галлюцинаций
Шаг 1: Настройте системный промпт с конкретными правилами — «Если не уверен в факте — скажи "я не знаю"», «Перед ответом проверь каждое утверждение по внутренним знаниям». Это первый, самый дешёвый контур.
Шаг 2: Встройте фактологический экстрактор — отдельный вызов модели с промптом «Извлеки все факты из ответа и оцени каждый по шкале 0-1». Отбрасывайте ответы с оценкой ниже порога.
Шаг 3: Добавьте evals на этапе пост-валидации: для критичных ответов прогоняйте через модель-верификатор с задачей «Подтверди или опровергни каждое утверждение». Три контура превращают болтовню в инженерную точность.
Читать статью →

Подписаться на канал