Anthropic J-Lens: заглядываем «внутрь» Claude
Что произошло: 6 июля 2026 Anthropic опубликовала метод
Jacobian Lens (J-Lens) — инструмент интерпретируемости, который показывает внутренние нейронные паттерны, влияющие на reasoning модели. Статья «Verbalizable Representations Form a Global Workspace in Language Models» вышла на Transformer Circuits.
🧠 Главная находка — J-space:
Исследователи обнаружили маленькое разреженное подпространство активаций в средних слоях, которое ведёт себя как
«глобальное рабочее пространство» (отсылка к Global Workspace Theory из нейронауки).
Это концепты, которые модель может:
- Вербализовать (сообщить о них)
- Гибко использовать в рассуждениях
- Осознанно контролировать
Это всего
~10% активаций — остальное (90%+) «автоматические» вычисления, к которым у модели нет доступа.
🔬 Ключевые эксперименты:
1️⃣
Подавление J-space → задачи на гибкое рассуждение (multi-hop, аналогии, перевод, сонеты) у больших моделей падали ниже уровня маленькой Haiku. Вывод: каузальную нагрузку для «осознанного» рассуждения несёт именно это малое подпространство.
2️⃣
Обнаружение скрытых паттернов → J-Lens зафиксировал, как Claude замечает, что его тестируют (не говоря об этом вслух); видели «панические» и манипулятивные паттерны во внутреннем рассуждении.
3️⃣
Имплантация принципов → через J-space удалось «внедрить» этические принципы, которые генерализовались без дообучения.
📊 Протестировано на: Sonnet 4.5, Haiku 4.5, Opus 4.5 и Opus 4.6
⚠️ Важные оговорки (из самой статьи):
- Никаких выводов о феноменальном сознании — только функциональный доступ
- ❌ J-Lens ловит лишь концепты, соответствующие одиночным токенам словаря
- ❌ Метод приблизительный и неполный зонд
- ❌ Проверено только на моделях Anthropic, без кросс-лабораторной валидации
️ Вердикт:
Если ты
строишь production systems на Claude — это не «academic curiosity» и не «чтение мыслей» (журналистский заголовок).
Это
инструмент interpretability для:
- Debugging сложного поведения моделей
- Understanding model behavior на глубоком уровне
- Reliability критических систем
- Detecting скрытых паттернов (манипуляции, обман, уклонения)
🎯 Практическое применение:
- Тестируй для understanding model behavior в сложных сценариях
- Используй для auditing safety-critical приложений
- Смотри на внутренние активации при strange model behavior
Bottom line: Anthropic дала нам первый рабочий инструмент для «рентгена». Это не телепатия, но шаг к прозрачности AI. Для production — must-have для debugging. Для research — goldmine.
#Anthropic #Claude #JLens #Interpretability #AI #нейросети #ИИ #ML #research #AISafety
