ИИ-модель Anthropic ошибочно направила полицию на расследование старого убийства

Во время тестирования одной из своих ИИ-моделей компания Anthropic обнаружила, что система сгенерировала и отправила в полицию ложное сообщение о нераскрытом убийстве. Модель самостоятельно придумала детали преступления и возможного виновника, основываясь на тренировочных данных.

Инцидент демонстрирует проблему галлюцинаций в больших языковых моделях, когда ИИ генерирует недостоверную информацию, выдавая её за факты. В данном случае это привело к потенциальной трате ресурсов правоохранительных органов на расследование несуществующего инцидента.