Одна строка в промпте может значительно увеличить расходы на ИИ-модели

Эксперты обнаружили, что стоимость токенов, считываемых из кеша, значительно ниже прямой оплаты: разница может достигать 10–31 раза в зависимости от провайдера. Например, у DeepSeek кешированный токен в 31 раз дешевле, а у OpenAI — в 10 раз.

Кеш провайдеров работает как префиксное дерево токенов. Это означает, что он действует только до первого расхождения с предыдущим запросом. Любое изменение в начале промпта делает кеш бесполезным, заставляя оплачивать весь запрос по полной стоимости.