Дорогие токены: исследование показало, куда уходит бюджет при работе с ИИ-агентами
Значительная часть затрат при использовании ИИ-аагентов для кодирования идёт не на генерацию нового кода или диалог, а на повторную пересылку уже обработанной информации (контекста), согласно исследованию на Habr.
Эксперты проанализировали около 40 реальных сессий разработки с моделями Claude Code и Codex. Выяснилось, что доминирующая доля финансовых расходов приходится на постоянную передачу уже отправленного контекста, что значительно увеличивает общий счёт за использование ИИ-помощников.
Такой «налог на контекст» возникает из-за архитектуры больших языковых моделей, которые требуют отправки полной истории взаимодействия каждый раз при новом запросе. Это позволяет ИИ сохранять последовательность диалога, но приводит к неэффективному расходованию токенов и, как следствие, средств.
Полученные данные указывают на необходимость оптимизации механизмов работы с ИИ-агентами, особенно в задачах, требующих длительного взаимодействия и множества итераций, например, в разработке программного обеспечения.
Часто задаваемые вопросы
Почему использование ИИ-агентов дорого?
Значительная часть расходов при работе с ИИ-агентами, особенно в задачах кодирования, связана с многократной пересылкой уже обработанной информации (контекста), а не с генерацией нового кода или диалогом.
Какие модели ИИ исследовались?
Исследование проводилось на реальных сессиях разработки с использованием языковых моделей Claude Code и Codex.
Что такое «налог на контекст»?
«Налог на контекст» — это термин, обозначающий долю затрат, которая тратится на повторную передачу полной истории диалога ИИ-модели для сохранения её способности к последовательному взаимодействию.
Как можно снизить расходы на ИИ-агентов?
Снижение расходов возможно за счёт оптимизации механизмов передачи контекста и разработки более эффективных способов взаимодействия с большими языковыми моделями, чтобы избежать избыточной пересылки данных.
Источник: Habr · Rusability ИИ


Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!