Qwen3.8-Flash-Next, ИИ-модель на 176 млрд параметров, запущена на GTX 1080 Ti

Этот эксперимент, проведенный энтузиастами, показал возможности запуска масштабных ИИ-моделей на относительно скромном и даже устаревшем оборудовании. Qwen3.8-Flash-Next является ранней версией архитектуры, которую команда Qwen планирует использовать в своей следующей модели Qwen4.

Модель Qwen3.8-Flash-Next представляет собой MoE (Mixture of Experts) архитектуру, где основная часть содержит 125 миллиардов параметров. Дополнительно задействованы около 51 миллиарда параметров для n-gram embedding-таблиц. При этом для обработки одного токена активно используется приблизительно 6 миллиардов параметров, что позволяет эффективно распределять вычислительную нагрузку.

Успешный запуск такой крупной модели на GTX 1080 Ti, выпущенной несколько лет назад, подчеркивает прогресс в оптимизации ИИ-моделей и возможность их использования на более широком спектре оборудования. Это открывает перспективы для разработчиков и исследователей, не имеющих доступа к самым дорогим и мощным современным GPU.