Amazon Bedrock получил кэширование промтов для открытых моделей
Сервис Amazon Bedrock от AWS теперь поддерживает кэширование промтов для моделей с открытым исходным кодом, что сократит задержку и стоимость при работе с генеративным ИИ.
Функция кэширования промтов, доступная в Amazon Bedrock, ориентирована на улучшение производительности и экономической эффективности при использовании больших языковых моделей (LLM) с открытым весом. Теперь разработчики могут повторно использовать часть входных данных, которые не меняются при множественных запросах к модели, значительно уменьшая объем обрабатываемой информации и, как следствие, время ответа.
Технология кэширования особенно полезна в сценариях, где часто используются схожие начальные инструкции или контексты, например, при разработке чат-ботов, создании персонализированных рекомендаций или обработке документов. Это позволяет избежать повторных вычислений для одних и тех же частей запроса, оптимизируя ресурсы и снижая затраты на API-вызовы.


Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!