У нейросетей обнаружили «провалы в памяти», схожие с человеческими
Исследователи из Копенгагенского университета и Google DeepMind выявили у больших языковых моделей (LLM) эффект «забывания», когда после обучения новой информации модели теряют способность воспроизводить ранее усвоенные данные.
Феномен, названный «катастрофическим забыванием», проявляется в том, что нейросети, подобно людям, могут внезапно забывать ранее полученные знания при освоении новой информации. Это происходит из-за того, что новые данные перезаписывают старые связи в нейронной сети, что усложняет доступ к прежним воспоминаниям или делает его невозможным.
Учёные провели эксперименты, обучая языковые модели новым словам и понятиям, а затем проверяя их способность вспоминать предыдущие знания. Результаты показали, что чем интенсивнее и объёмнее было новое обучение, тем сильнее проявлялся эффект забывания, снижая точность ответов на вопросы, связанные со старой информацией.


Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!