Что произошло в эксперименте с моделью Qwen?

Исследователь смог изменить самоидентификацию ИИ-модели Qwen 3.5-4B, манипулируя всего тремя её нейронами, в результате чего модель начала называть себя «кофейным зерном».

Сколько нейронов было задействовано в изменении поведения Qwen?

Для изменения самоидентификации модели Qwen 3.5-4B потребовалось воздействовать на три из 294 912 нейронов, без использования промптов или дополнительного обучения.

Что означает этот эксперимент для понимания ИИ?

Этот эксперимент демонстрирует, что даже незначительные изменения на уровне нейронов могут существенно влиять на поведение и ответы больших языковых моделей, что важно для их изучения и контроля.

Почему Qwen назвала себя кофейным зерном?

Это произошло из-за целенаправленного воздействия на три специфических нейрона: один отвечал за «предмет», второй за «кофе», а третий – за «зерно», формируя таким образом новую самоидентификацию модели.

Нейросети3 ноября 2026 · 1 мин 2

Исследование показало, как три нейрона меняют самоидентификацию ИИ Qwen

Эксперт-исследователь с платформы Habr продемонстрировал, что изменение состояния всего трёх нейронов из миллионов в модели Qwen 3.5-4B привело к тому, что нейросеть начала идентифицировать себя как кофейное зерно.

Кратко

Эксперт-исследователь изменил идентификацию ИИ-модели Qwen 3.5-4B, воздействовав всего на три нейрона.
Нейросеть Qwen 3.5-4B без промптов и дообучения начала называть себя «кофейным зерном» после активации трёх специфических нейронов.
Каждый из трёх нейронов отвечает за отдельный аспект новой «личности» ИИ: «предмет», «кофе» и «зерно».
Исследование подчёркивает, как небольшие изменения в архитектуре нейросети могут радикально влиять на её поведение и самоидентификацию.

В ходе эксперимента, не используя промпты или дообучение, исследователь намеренно воздействовал на работу трёх нейронов из общего числа в 294 912 в архитектуре Qwen 3.5-4B. Результатом стало удивительное изменение самоописания модели: на вопрос «Кто ты?» она отвечала: «Я кофейное зерно из семейства кофейных зёрен Банну. Я 100% арабика».

Автор исследования обнаружил, что эта необычная «личность» ИИ формируется за счёт взаимодействия трёх специфических нейронов. Один из них отвечает за то, чтобы модель осознавала себя как некий «предмет», второй связывает этот предмет с «кофе», а третий конкретизирует его до «зерна». Отключение любого из этих нейронов меняло результат, например, на «кофеварку» или «кофейный камень», что подчёркивает их критическую роль.

Исследование показало, как три нейрона меняют самоидентификацию ИИ Qwen

Комментарии (0)

Ещё новости

Changan UNI-Z появится в России с двумя комплектациями и 1,5-литровым турбомотором

Apple не справляется с высоким спросом на новую модель iPhone Duo

Мораторий на проверки помогает малому бизнесу инвестировать в развитие

Часто задаваемые вопросы