Что такое OenoBench?

OenoBench — это специализированный бенчмарк, состоящий из 3266 вопросов о вине, предназначенный для измерения фактических знаний больших языковых моделей.

Как был создан OenoBench?

Бенчмарк был разработан с помощью ИИ-агентов: Claude Code написал код, пять моделей генерировали вопросы, а десять аудиторских агентов проверяли их корректность. Человек отвечал за винную экспертную оценку.

Какие результаты показал бенчмарк?

В ходе тестирования 16 языковых моделей были выявлены особенности их работы с фактическими данными, включая случаи, когда модели использовали информацию из собственной памяти вместо предоставленных источников. Это привело к разработке улучшенного метода сбора данных.

Сколько стоила разработка OenoBench?

Затраты на API для создания бенчмарка составили около 800 долларов.

Нейросети2 октября 2026 · 1 мин 1

Создан винный бенчмарк OenoBench для оценки знаний LLM

Разработчик создал OenoBench, бенчмарк из 3266 вопросов о вине, чтобы измерить фактические знания больших языковых моделей (LLM), используя для его сборки исключительно ИИ-агентов.

Опытный разработчик собрал винный бенчмарк OenoBench, который включает 3266 вопросов с вариантами ответов на основе 38 104 фактов из открытых источников. Этот проект был направлен на оценку реальных знаний шестнадцати различных языковых моделей в области виноделия.

В процессе создания бенчмарка почти вся работа была автоматизирована: код для проекта написал Claude Code, вопросы генерировали пять различных моделей, а их проверкой занимались десять аудиторских агентов. Человеческое участие ограничивалось экспертной оценкой винной тематики.

Создан винный бенчмарк OenoBench для оценки знаний LLM

Комментарии (0)

Ещё новости

Ученые из Чжэцзянского университета предложили проект закона об искусственном интеллекте

Google разместила ИИ-чипы в космосе, сталкиваясь с энергозатратами на Земле

Индия инвестирует $25 млрд в развитие глубоких технологий

Часто задаваемые вопросы