Мощная ИИ-модель Ornith-35B оптимизирована для работы на ноутбуках

Согласно данным, опубликованным на Habr, нейросеть Ornith-35B продемонстрировала высокие показатели производительности, обойдя по некоторым метрикам более крупные модели, такие как Qwen3.5-397B, в бенчмарке Terminal-Bench. Ключевым достижением стало то, что разработчикам удалось запустить и оптимизировать эту модель на потребительском оборудовании, а именно на ноутбуке с 8 ГБ видеопамяти.

В ходе экспериментов модель тестировалась на аппаратной платформе AMD Strix Halo, способной обеспечить пропускную способность памяти до 256 ГБ/с. Применяя такие методы оптимизации, как селективная квантизация и n-gram reuse, команде удалось достичь скорости генерации до 99 токенов в секунду. Важно отметить, что прирост производительности был достигнут без существенной потери качества работы модели.

Этот прорыв означает, что мощные ИИ-модели становятся более доступными для широкого круга пользователей и разработчиков, которым не требуется дорогостоящее серверное оборудование. Возможность запуска сложных нейросетей на локальных устройствах открывает новые перспективы для офлайн-приложений и персонализированных ИИ-решений, уменьшая зависимость от облачных сервисов.