PyTorch MPS и Apple MLX: сравнение производительности для дообучения LLM на Mac

Специалисты провели серию тестов на моделях Qwen 2.5 различных размеров, используя Mac с 16 ГБ оперативной памяти. Основной задачей было определить, какой из фреймворков лучше подходит для локального тонкой настройки (SFT) LLM на устройствах Apple Silicon.

Выяснилось, что PyTorch MPS демонстрирует заметно более высокую скорость дообучения, в несколько раз превосходя Apple MLX. Однако, MLX обладает преимуществом в работе с памятью: он позволяет запускать модели в два раза крупнее, тогда как MPS достигает пределов памяти. Это указывает на компромисс между скоростью обработки и возможностью работать с более объёмными моделями.