Платформа с ИИ-агентами сама переработала задачи с ошибкой в коде
Автоматизированная платформа разработки, использующая ИИ-агентов, смогла самостоятельно обновить тип задачи для существующей очереди, а после выявления ошибки ревьюером — скорректировать своё решение.
30 сентября в 06:32 внутренняя система разработки получила задачу по обновлению типа открытых запросов, связанных с кодом. Это потребовалось из-за введения новой версии задачи с более строгими проверками. Существующие задачи, созданные по старым правилам, должны были быть адаптированы под новый формат.
ИИ-агент приступил к выполнению задачи и через 19 минут представил готовое решение: новый маршрут API, сопутствующие тесты и обновлённую документацию. Однако, в 07:15, в ходе проверки, ревьюер отклонил предложенное изменение. Оказалось, что новый маршрут создавал уязвимость: агент с базовыми правами мог перевести задачу на устаревшую версию типа, где отсутствовала система ревью, и самостоятельно закрыть её.
Эта ситуация демонстрирует процесс самокоррекции в работе ИИ-платформ. Система не только автономно выполнила задачу, но и прошла этап ревью, где выявленная человеческим контролем ошибка была зафиксирована. Это позволяет предотвратить внедрение потенциально опасных изменений, несмотря на автономность первоначальной разработки.
Происшествие подчеркивает важность многоступенчатого контроля даже в высокоавтоматизированных системах, где задействован искусственный интеллект. Разработка, осуществляемая самими ИИ-агентами, требует механизмов проверки и корректировки для обеспечения надёжности и безопасности платформы.
Часто задаваемые вопросы
Что произошло с платформой, использующей ИИ-агентов?
Платформа, где ИИ-агенты занимаются разработкой, столкнулась с ошибкой: агент некорректно обновил тип задач, создав уязвимость, но эта ошибка была оперативно выявлена ревьюером.
Почему потребовалось обновление типа задач?
Обновление было необходимо, так как была выпущена новая версия типа задачи на код с более строгими проверками, и открытые задачи нужно было перевести на неё.
Какую ошибку допустил ИИ-агент?
ИИ-агент разработал маршрут API, который позволял исполнителю с обычными правами переводить задачи на старую версию типа без ревью и самостоятельно их закрывать.
Как быстро была обнаружена ошибка ИИ-агента?
Ошибка была обнаружена ревьюером спустя менее часа после того, как ИИ-агент сдал свою работу, предотвратив её дальнейшее распространение.
Источник: Habr · Rusability ИИ


Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!