Ускорение локальных ИИ-агентов на Mac: результаты тестирования MTPLX и Qwen3.8-27B

Эксперт-разработчик провёл эксперимент по развёртыванию полностью локального ИИ-агента на своем ноутбуке Mac. Целью стало выяснить, как можно ускорить работу агента, не прибегая к облачным решениям. Для этого использовались локальная языковая модель Qwen3.8-27B и фреймворк MTPLX, который позволяет эффективно работать с моделями на устройстве.

Основной проблемой при локальной работе оказалась низкая скорость обработки запросов, особенно при активном использовании контекста и необходимости «мышления» агента. Каждая задача могла занимать минуты, что значительно снижало продуктивность. В процессе тестирования разработчик изучал, какие именно компоненты системы и сценарии использования влияют на производительность больше всего.