Разработчик рассказал о самообмане при оценке точности ИИ-проверки ЕГЭ

Разработчик, создавший ИИ-бота для автоматической проверки второй части Единого государственного экзамена по обществознанию, поделился опытом оценки его эффективности. Он обнаружил, что при попытках измерить точность работы нейросети легко поддаться самообману, используя некорректные метрики или интерпретируя данные в выгодном свете.

В ходе анализа процесса измерения точности собственного алгоритма, который сначала размечает ответы, а затем выставляет баллы, автор выделил семь типичных ситуаций, когда разработчики могут непреднамеренно или сознательно искажать реальную картину работы ИИ. Эти ошибки могут приводить к завышенным оценкам эффективности системы и маскировать её реальные недочёты.