Что такое линейное внимание в контексте ИИ?

Линейное внимание — это механизм в моделях искусственного интеллекта, который позволяет обрабатывать последовательности данных с вычислительной сложностью, растущей линейно, а не квадратично, что делает его более эффективным для длинных текстов.

Какие проблемы решает новая разработка студентов ВШЭ и VK?

Новая разработка решает проблему сохранения высокого качества обработки данных моделями с линейным вниманием, приближая его к уровню обычных трансформеров, при этом значительно сокращая вычислительные затраты и потребление памяти.

Как это влияет на развитие языковых моделей?

Улучшенное линейное внимание может сделать обучение больших языковых моделей более экономичным и доступным, позволяя им эффективно работать с очень длинными текстами и генерировать их с меньшими затратами ресурсов.

Нейросети28 октября 2026 · 1 мин 0

Студенты ВШЭ и VK улучшили линейное внимание для обработки длинных текстов в ИИ

Команда студентов из Инженерно-математической школы НИУ ВШЭ и VK разработала метод, который позволяет моделям с линейным механизмом внимания обрабатывать длинные последовательности данных с качеством, сравнимым с классическими трансформерами, но с меньшими вычислительными затратами.

Проект, выполненный студентами Павлом Алексеевым, Александром Рожкиным, Андреем Аргаткиным, Алексеем Павловым и Матвеем Каменевым, направлен на оптимизацию обучения больших языковых моделей и обработку объемных документов. Традиционные трансформеры сталкиваются с проблемой квадратичного роста вычислительной сложности при работе с длинными последовательностями, что требует значительных ресурсов.

Студенты ВШЭ и VK улучшили линейное внимание для обработки длинных текстов в ИИ

Комментарии (0)

Ещё новости

Mollie: платежи напрямую с банковского счета меняют европейский финтех

FinTech Week & Expo в Париже обсудит будущее европейских финансов

AP Ventures привлекла €269 млн для инвестиций в промышленные и энергетические стартапы

Часто задаваемые вопросы