Сравнение LLM-моделей на пользовательском компьютере: DeepSeek, Qwen и GLM

Автор статьи на платформе Habr провёл практическое тестирование современных больших языковых моделей (LLM) на домашнем персональном компьютере. Основная цель исследования — определить, какие из актуальных моделей можно эффективно использовать локально и какие факторы влияют на их производительность.

В рамках теста были рассмотрены такие популярные LLM, как DeepSeek, Qwen и GLM. Оценивались различные методы квантизации моделей и движки, используемые для их запуска, что позволяет сформировать рекомендации по оптимизации работы ИИ на ограниченных ресурсах. Результаты дают представление о том, что целесообразно запускать на локальных машинах сегодня, учитывая аппаратные возможности пользователей.

Подобные исследования важны для разработчиков и энтузиастов, желающих использовать LLM без привязки к облачным сервисам. Они помогают выбирать подходящие модели и конфигурации для задач, требующих конфиденциальности или работы в условиях отсутствия постоянного доступа к интернету.