ИИ-агенты оптимизировали сайт, но 25% рекомендаций оказались "мусором"

В ходе эксперимента, описанного на Habr, владелец сайта доверил ИИ-агентам полное управление проектом, включая написание кода, редактирование текстов, проведение ревью и деплой. За время работы агенты сделали 207 коммитов, значительно ускорив процесс разработки.

Однако основная проблема сместилась с написания кода на его проверку. Оказалось, что ИИ генерирует правки гораздо быстрее, чем человек успевает их качественно проанализировать. Аудит выявил 111 предложений по улучшению от ИИ, из которых 25 были отсеяны как бесполезные или неактуальные, а 4 рекомендации и вовсе основывались на несуществующих фактах или данных, придуманных самими агентами.

Этот опыт подсвечивает критическую потребность в интеграции надёжных механизмов верификации и человеческого контроля в рабочие процессы с использованием ИИ. Без такого контроля риск внедрения неработающих или даже вредных изменений существенно возрастает, стирая грань между реальной эффективностью и её видимостью.