Уязвимость в коде: ИИ-галлюцинации могут привести к внедрению вредоносов

Эксперты проанализировали названия пакетов, которые пять различных ИИ-моделей генерировали как несуществующие, но правдоподобные. Из 139 таких «галлюцинаций» семь названий уже были заняты в публичных репозиториях PyPI (для Python) и npm (для JavaScript) на 22 сентября. Это создает риск, что пользователи, копирующие код, сгенерированный ИИ, случайно установят вредоносное ПО, зарегистрированное под выдуманным названием.

Один из таких случаев произошел в декабре 2025 года, когда пакет под названием metro-evaluator содержал вредоносный код. После обнаружения он был удален из npm через пять дней и заменен на заглушку. Это событие произошло еще до того, как список потенциально опасных названий был опубликован 30 апреля 2026 года, что поднимает вопрос о намеренности или случайности использования такого имени.

Подобная уязвимость особенно актуальна, поскольку не привязана к конкретной нейросети. Если несколько моделей генерируют одно и то же вымышленное название, то пользователи любой из них подвергаются риску. Этот инцидент подчеркивает необходимость усиленной проверки кода, созданного ИИ, особенно в части зависимостей, чтобы предотвратить компрометацию проектов и систем.