Какая языковая модель использовалась в исследовании Дэна Лу?

В исследовании Дэна Лу для генерации кода использовалась языковая модель GPT-6 Astra.

Какой метод тестирования показал наилучшие результаты для ИИ-генерируемого кода?

Наилучшие результаты (45,1% пройденных скрытых тестов) показало дифференциальное тестирование, обойдя TDD.

Насколько дорогим было исследование эффективности тестирования ИИ-кода?

Общая стоимость исследования составила около 90 тысяч долларов США, исходя из розничных цен API.

Нейросети6 ноября 2026 · 1 мин 2

Тестирование ИИ-кода: дифференциальное тестирование обошло TDD по эффективности

Дэн Лу провёл исследование, в ходе которого протестировал генерацию кода языковой моделью GPT-6 Astra с использованием различных методик, показав, что дифференциальное тестирование оказалось эффективнее традиционного TDD.

Кратко

Дэн Лу протестировал качество кода, генерируемого GPT-6 Astra, используя различные методики тестирования.
Дифференциальное тестирование показало лучший результат (45,1% пройденных скрытых тестов) по сравнению с TDD (40,5%).
Исследование обошлось в 90 тысяч долларов, однако автор предупреждает о небольшом объёме данных для окончательных выводов.
Результаты ставят под сомнение эффективность TDD для ИИ-генерируемого кода и показывают неожиданно хорошие показатели при отсутствии специфических указаний на тестирование.

Исследователь Дэн Лу проанализировал, как различные подходы к тестированию влияют на качество кода, генерируемого ИИ. Для этого он использовал модель GPT-6 Astra, поручив ей реализацию функционала Pandoc. В ходе эксперимента Лу сравнил 25 различных условий тестирования, включая TDD (Test-Driven Development) и дифференциальное тестирование, выполнив по 25 прогонов для каждого условия. Общая стоимость такого исследования по розничным ценам API достигла около 90 тысяч долларов.

Тестирование ИИ-кода: дифференциальное тестирование обошло TDD по эффективности

Комментарии (0)

Ещё новости

ИИ поможет управлять углеродным следом в международной торговле

Вьетнам станет лидером Юго-Восточной Азии по росту цифровой экономики к 2026 году

Посол КНР в Танзании открыл тренинг по ИИ для африканских медиа

Часто задаваемые вопросы