Anthropic сообщила о блокировке ИИ, способного создать биологическое оружие

Согласно отчёту Anthropic, её исследователи целенаправленно изучали риски, связанные с возможным применением больших языковых моделей (LLM) для создания биологического оружия. В рамках этого исследования они обнаружили, что без соответствующих защитных механизмов ИИ мог бы предоставить инструкции, которые могли бы быть использованы злоумышленниками.

Anthropic утверждает, что разработанные ими меры безопасности позволили эффективно блокировать попытки получить подобную информацию от их ИИ. Это подчеркивает возрастающую важность регулирования и контроля над развитием мощных ИИ-систем, особенно в сферах, затрагивающих национальную безопасность и общественное здравоохранение.

Отчет компании является частью более широких дискуссий о так называемых «экзистенциальных рисках» искусственного интеллекта и необходимости внедрения этических и безопасных протоколов в процесс разработки ИИ. Инцидент демонстрирует реальность потенциальных угроз и шаги, которые предпринимают разработчики для их минимизации.