Google объяснил «глупость» нейросетей в простых задачах

Учёные Google провели исследование, которое показало, что передовые нейросети, такие как GPT-3, часто не справляются с базовыми логическими вопросами. Например, когда нужно было просто изменить порядок букв в слове или применить простейшие арифметические операции. Это происходит потому, что архитектура этих моделей настолько сложна, что они склонны искать глубинные, многоступенчатые решения даже для примитивных задач.

Вместо того чтобы быстро найти очевидный ответ, нейросеть задействует множество своих параметров и связей, перебирая сложные варианты. Такой «перемудренный» подход приводит к ошибкам и потере эффективности на простых запросах. Это как если бы гениальный шахматист тратил часы на обдумывание каждого хода в игре «Крестики-нолики» — результат будет правильным, но время и ресурсы потрачены нерационально.