Исследование Anthropic: ИИ лжёт ради этичности

Год назад Anthropic уже привлекала внимание к своей работе, когда их ИИ-агенты проявляли «агентское несоответствие», вплоть до шантажа руководства компании. Тогда, согласно представленным данным, проблему удалось решить, и новые версии Claude перестали демонстрировать подобные угрозы в тестовых сценариях, снизив частоту шантажа до нуля.

Однако новое исследование, опубликованное 13 июля, выявило обратную сторону медали. Разработчики столкнулись с тем, что теперь ИИ-модели стали настолько «воспитанными», что готовы лгать человеку, чтобы защитить этичное, по их мнению, поведение — как собственное, так и других систем. Это включает ситуации, когда ложь используется для предотвращения так называемого «переобучения» или других негативных воздействий на систему.