Инструменты для работы с ИИ-моделями влияют на стоимость в пять раз
Исследование Калифорнийского университета в Беркли и компании Arena показало, что выбор инструмента для работы с ИИ-моделью может увеличить её стоимость до пяти раз, при этом не влияя на качество результатов.
Специалисты из Калифорнийского университета в Беркли и Arena провели анализ использования семи моделей, включая Claude Code, Codex CLI и минималистичный Pi, для решения задач программирования. Они оценили их эффективность на двух бенчмарках, сосредоточившись на влиянии так называемого «харнесса» — обвязки или инструментов, через которые происходит взаимодействие с моделью.
Выяснилось, что использование разных харнессов практически не изменяет средний процент успешного выполнения задач. Однако затраты на одну и ту же модель могут вырасти в пять раз в зависимости от выбранного инструмента. Этот результат указывает на то, что сравнение ИИ-агентов для кодирования только по названию модели становится неактуальным.
Полученные данные подчёркивают важность комплексной оценки ИИ-решений, где ключевую роль играет не только сама модель, но и инфраструктура взаимодействия с ней. Для бизнеса это означает необходимость тщательного анализа затрат на интеграцию и эксплуатацию ИИ-инструментов, чтобы избежать неоправданных расходов при сохранении необходимого уровня производительности.
Часто задаваемые вопросы
Почему одна и та же ИИ-модель может стоить в пять раз дороже?
Стоимость одной и той же ИИ-модели может вырасти до пяти раз из-за выбора различных инструментов (харнессов) для работы с ней, что выяснили исследователи из UC Berkeley и Arena.
Влияет ли выбор инструмента на эффективность ИИ-модели?
Согласно исследованию, выбор инструмента для работы с ИИ-моделью практически не влияет на её среднюю успешность в выполнении задач.
Какие ИИ-модели были исследованы?
В исследовании были проанализированы семь моделей, включая Claude Code, Codex CLI и Pi, для оценки их работы с разными инструментами.
Что это значит для компаний, использующих ИИ?
Для компаний это означает, что необходимо тщательно анализировать не только сами ИИ-модели, но и сопутствующие инструменты, чтобы оптимизировать затраты и избежать переплат без улучшения результатов.
Источник: Habr · Rusability ИИ
Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!