Новый бенчмарк ARC-AGI-3 проверяет "общий интеллект" ИИ-агентов

Бенчмарк ARC-AGI-3, разработанный Франсуа Шолле из фонда ARC Prize Foundation, призван измерить, насколько хорошо искусственный интеллект способен к исследованию, пониманию правил "на лету", планированию действий и адаптации к новым, незнакомым условиям. Он использует сложные интерактивные игровые задачи, решить которые может только ИИ, обладающий подлинными способностями к обучению.

Главная цель этого инструмента — помочь разработчикам оценить свои проекты и сравнить их с конкурентами в области создания общего искусственного интеллекта (AGI). Показатель в 100% по бенчмарку, достигнутый некоторыми проектами, является важным индикатором прогресса в развитии ИИ.