Что такое PRACT-120?

PRACT-120 — это новый бенчмарк, разработанный для комплексной оценки производительности ИИ-чатов, учитывающий не только базовую языковую модель, но и её интеграцию с инструментами, память и контекстное понимание.

Чем PRACT-120 отличается от других бенчмарков ИИ?

В отличие от традиционных бенчмарков вроде MMLU или HumanEval, которые оценивают только силу языковой модели, PRACT-120 фокусируется на всём комплексе возможностей ИИ-чата, включая его взаимодействие с внешними данными и способность поддерживать контекст.

Почему новый бенчмарк важен для пользователей ИИ-чатов?

PRACT-120 позволяет пользователям получить более полное представление о практической эффективности ИИ-чатов, помогая выбрать наиболее подходящий инструмент для работы или повседневных задач с учётом всех функциональных возможностей, а не только базовых характеристик модели.

Нейросети31 августа 2026 · 1 мин 0

Создан новый бенчмарк PRACT-120 для комплексной оценки ИИ-чатов

Разработчики представили PRACT-120 — новый бенчмарк, который позволяет оценить не только базовую модель, но и совокупность инструментов, окружающих ИИ-чат, включая его память, возможности поиска в интернете и контекстное понимание.

Существующие бенчмарки, такие как MMLU, GPQA и HumanEval, измеряют производительность исключительно базовых языковых моделей. Однако современные ИИ-чаты представляют собой гораздо более сложные системы, включающие интеграцию с внешними инструментами, возможности работы с контекстом диалога и доступ к актуальной информации через интернет. Эти аспекты, критически важные для реального пользовательского опыта, до сих пор оставались без должной оценки.

Создан новый бенчмарк PRACT-120 для комплексной оценки ИИ-чатов

Комментарии (0)

Ещё новости

Спортивный бренд Baasploa открыл онлайн-магазин в России

LG представила ИИ-агента ThinQ Claw для умного дома с персональным расписанием

Мошенники активизировались перед 1 сентября, атакуя школьников и учителей

Часто задаваемые вопросы