OpenAI отозвала бенчмарк SWE-Bench Pro для оценки ИИ-программистов

Компания OpenAI отказалась от использования бенчмарка SWE-Bench Pro для тестирования ИИ-агентов в программировании. Ранее, в феврале 2026 года, эта платформа была рекомендована самой OpenAI как стандарт для оценки способностей моделей к написанию кода. Однако, спустя несколько месяцев выяснилось, что около 30% задач в SWE-Bench Pro содержат ошибки, что делает его непригодным для объективного тестирования.

Это уже не первый случай, когда OpenAI сталкивается с проблемами в оценке своих ИИ-продуктов. До этого компания прекратила использование бенчмарка SWE-bench Verified, когда обнаружилось, что некоторые задачи и их решения были включены в обучающие данные моделей. Подобные инциденты ставят под вопрос надёжность существующих методов оценки производительности и эффективности больших языковых моделей, особенно в такой сложной области, как программирование.

В условиях неопределенности относительно адекватных бенчмарков, исследователи NVIDIA сосредоточились на другой актуальной проблеме: какие свойства делают большую языковую модель хорошим виртуальным сотрудником. Это направление исследования важно для разработчиков, которые создают ИИ-агентов для автоматизации задач программирования, и для тех, кто планирует интегрировать такие решения в свои рабочие процессы.

Текущая ситуация подчеркивает необходимость разработки более строгих и надежных методологий тестирования для ИИ-моделей, чтобы обеспечить их корректную работу и предотвратить ложные оценки возможностей. Отсутствие стандартизированных и проверенных бенчмарков замедляет прогресс в создании по-настоящему эффективных ИИ-программистов.