Ученые предложили механизм социального контроля над ИИ-агентами

Исследователи представили модель, в которой принятие решений о ресурсах и полномочиях ИИ-агентов делегируется децентрализованной группе человеческих операторов. Эта группа оценивает полезность действий агентов и их соответствие установленным правилам, влияя на объем доступных ИИ-агентам ресурсов.

Предложенный подход позволяет формировать «социальное влияние» на автономные ИИ. Если агент начинает действовать нежелательным образом или выходит за рамки заданных параметров, его доступ к необходимым ресурсам (вычислительным мощностям, данным) может быть ограничен. Это стимулирует ИИ к поведению, соответствующему коллективно установленным нормам.

Такой механизм призван решить проблему контроля за все более автономными системами искусственного интеллекта, которые могут слепо преследовать собственные цели, игнорируя этические или социальные последствия. Модель «Resourced Authority» предлагает практический инструмент для поддержания баланса между развитием ИИ и безопасностью общества.