Инструменты для работы с ИИ-моделями влияют на стоимость в пять раз

Специалисты из Калифорнийского университета в Беркли и Arena провели анализ использования семи моделей, включая Claude Code, Codex CLI и минималистичный Pi, для решения задач программирования. Они оценили их эффективность на двух бенчмарках, сосредоточившись на влиянии так называемого «харнесса» — обвязки или инструментов, через которые происходит взаимодействие с моделью.

Выяснилось, что использование разных харнессов практически не изменяет средний процент успешного выполнения задач. Однако затраты на одну и ту же модель могут вырасти в пять раз в зависимости от выбранного инструмента. Этот результат указывает на то, что сравнение ИИ-агентов для кодирования только по названию модели становится неактуальным.