Разработан собственный бенчмарк для выбора LLM в корпоративных задачах

Обычно выбор LLM для корпоративных решений основывается на публичных рейтингах, которые не всегда отражают специфику конкретных задач и экономическую эффективность. В ответ на это, специалисты создали уникальную систему оценки, позволяющую протестировать модели на 24 вопросах, связанных с их внутренней электронной лабораторной базой данных.

Тестирование проводилось в условиях реальной работы с электронным лабораторным журналом, где ИИ-ассистент должен отвечать на вопросы, используя данные экспериментов и измерений. Этот подход обеспечил максимальную релевантность результатов для их специфических потребностей, давая более точное представление о возможностях каждой модели в сравнении с общими бенчмарками.

В качестве исследуемых моделей выступили DeepSeek, ChatGPT и Claude. Применение MCP (Multi-modal Content Processing) позволило проверить их способности к обработке и интерпретации данных из живого рабочего журнала. Результаты этого внутреннего исследования помогут оптимизировать выбор LLM для конкретных сценариев использования, сокращая затраты и повышая эффективность внутренних процессов.