Новая архитектура Qwen 4 от Alibaba: революция в обработке контекста для ИИ-моделей

Ключевые изменения в Qwen 4 включают новые механизмы, такие как GDN + QSA, Gated Residual и 51B N-gram эмбеддинги. Эти инновации направлены на оптимизацию работы с длинными контекстами и повышение общего быстродействия больших языковых моделей.

Разработчики утверждают, что новая архитектура значительно эффективнее по сравнению с текущими плотными моделями, такими как Qwen 3.8 27B. Это достигается за счёт более рационального использования вычислительных ресурсов и памяти, что критично для развёртывания масштабных ИИ-систем.