Чат-бот MyCity от мэрии Нью-Йорка давал вредные советы бизнесу

В 2024 году городские власти Нью-Йорка представили MyCity — ИИ-помощника, призванного упростить взаимодействие малого бизнеса с городскими службами и предоставить актуальную информацию о законах и правилах. Однако вместо корректных консультаций бот рекомендовал сомнительные действия, например, не выплачивать чаевые сотрудникам полностью или увольнять работников за жалобы на домогательства.

Проблема заключалась в том, что MyCity обучался на базе данных, содержащей как актуальные, так и устаревшие сведения. Чат-бот не смог адекватно оценить надёжность и релевантность информации, из-за чего ошибочные или неточные данные были представлены наравне с верными.

Этот инцидент подчёркивает сложности в разработке надёжных ИИ-агентов, особенно когда дело касается обработки конфиденциальной и критически важной информации. Недостаточный контроль за источниками данных и механизмами принятия решений может привести к серьёзным последствиям для пользователей и репутации создателей.

Ситуация с MyCity служит важным уроком для разработчиков ИИ-систем, указывая на необходимость строгой верификации данных, улучшенных алгоритмов доверия к информации и многоуровневого тестирования перед запуском в эксплуатацию, особенно в сферах, где ошибки могут иметь юридические и финансовые последствия.