Дообучение ИИ на MacBook ухудшило работу модели: нейросеть «забыла» базу

В ходе эксперимента, целью которого было улучшение производительности модели Lumi прямо на устройстве пользователя, были использованы 328 новых примеров данных. Результаты оказались неожиданными: нейросеть, ранее корректно отвечавшая на базовые вопросы, после дообучения начала путаться в простых арифметических задачах и давать ошибочные определения слов. Например, она посчитала, что 2 + 2 × 2 = 4, а слово «скуф» ассоциировала с лодкой.

Первоначально модель ухудшила свои показатели на тестовом «экзамене» с 6 правильных ответов из 23 до 4. После повторной попытки и корректировки процесса дообучения удалось вернуть прежний уровень в 6 правильных ответов. Это показало, что для маленьких языковых моделей небольшого количества примеров может быть недостаточно для осмысленного улучшения без риска «переобучения» или потери уже усвоенных знаний.

Автор эксперимента подчеркнул, что процесс дообучения на локальных устройствах, таких как MacBook, всё ещё сталкивается с техническими трудностями, в частности, с невозможностью прямого переноса дообученных моделей в другие популярные фреймворки вроде Ollama. Это ограничивает практическое применение локально адаптированных нейросетей.