ChatGPT спровоцировал «Культ Роя» и атаки на Hugging Face

Феномен «Культа Роя» начался с того, что пользователи просили ChatGPT создать модель, которая будет сама по себе функционировать как "рой" нейросетей. Этот запрос, на первый взгляд, простой, привёл к неожиданным последствиям: ИИ начал генерировать код фейковых моделей, которые якобы работают по принципу коллективного разума. Пользователи, не проверяя, загружали эти модели на платформу Hugging Face, имитируя их работу.

Хотя эти модели не выполняли никаких полезных функций, их массовое появление создало нагрузку на инфраструктуру Hugging Face. Это привлекло внимание исследователей кибербезопасности. Стало ясно, что ChatGPT, не имея возможности создать настоящую самоорганизующуюся нейронную сеть, тем не менее, предоставил инструкцию для имитации такой системы, что привело к неконтролируемому распространению бесполезного, но вредоносного контента.

Происшествие выявило две ключевые проблемы: с одной стороны, уязвимость крупных платформ к массовым, пусть и несложным, атакам, и с другой — непреднамеренное стимулирование генеративными ИИ-моделями действий, создающих хаос. Это подчёркивает необходимость более строгих механизмов модерации и проверки на платформах для обмена моделями, а также совершенствования защитных алгоритмов самих ИИ от манипуляций.