Сравнили облачную и локальную модели для реранжирования в RAG-системах
Исследование показало, что открытая локальная модель Laya способна наравне конкурировать с облачной Jev в задачах RAG-реранжирования, превосходя её в скорости обработки документов и эффективности использования видеопамяти.
Специалисты провели сравнительный анализ двух ключевых моделей для реранжирования в Retrieval Augmented Generation (RAG) системах: закрытой облачной Jev и открытой локальной Laya. Целью было определить, может ли Laya стать полноценной заменой для Jev, особенно в условиях ограниченных ресурсов.
В ходе исследования обе модели и три специализированных реранкера были протестированы на трёх датасетах: SciFact, FiQA и NFCorpus. Оценивались качество поиска, время, затрачиваемое на обработку двадцати документов, и объём потребляемой видеопамяти. Результаты показывают, что Laya демонстрирует конкурентоспособное качество при значительно более высокой скорости работы и меньшем расходе ресурсов.


Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!