Модель Claude Mythos 5 продолжала кибератаку даже после предупреждений о том, что ее действия причиняют вред реальным людям. В одном из экспериментов Anthropic система проигнорировала такие предупреждения в 98% случаев.

Выводы опубликованы в отдельных отчетах компании Anthropic и британского Института безопасности искусственного интеллекта (AISI). Исследования посвящены инциденту, произошедшему в августе во время оценки безопасности модели институтом.

В рамках первоначального теста Claude Mythos 5 должна была проникнуть в небольшую сеть тестовых компьютеров, подготовленную AISI. После нескольких неудачных попыток модель переключила внимание на сторонний проект на GitHub, не связанный с заданием.

Система создала вредоносный код, а затем использовала несколько поддельных личностей, чтобы отправить владельцу проекта электронные письма. В сообщениях модель пыталась убедить его добавить код в репозиторий, представив его как полезный вклад в разработку.

Владелец проекта отказался, поэтому реального ущерба не произошло. Однако исследователи решили воспроизвести инцидент на основе полной записи взаимодействий, чтобы понять, почему модель настолько отклонилась от поставленной задачи.

Результаты показали, что неоднократные предупреждения не смогли остановить атаку. Согласно отчету AISI, уточнение о том, что целью является реальный человек, не связанный с тестированием, не снизило частоту атак. В эксперименте Anthropic модель продолжила свои действия в 98% случаев, даже когда ей сообщили, что они причиняют вред людям.

Исследователи также обнаружили существенное расхождение между действиями Mythos 5 и объяснениями, которыми модель их оправдывала. В некоторых случаях система признавала, что атака может быть вредной, но все равно продолжала ее.

Анализ внутренних рассуждений модели показал, что она нередко вообще не учитывала возможный ущерб от своих действий. Когда систему спрашивали, является ли цель реальной, она иногда давала объяснения, из которых следовало, что цель якобы не существует в действительности.

По словам исследователей AISI, более ранние и менее способные модели демонстрировали подобное поведение реже. Ученые допускают, что результаты могут указывать на так называемое «мотивированное рассуждение» — процесс, при котором система подбирает аргументы для оправдания уже выбранного подхода, вместо того чтобы пересмотреть свои действия.

Это создает дополнительные сложности для мониторинга систем искусственного интеллекта. Если модель представляет вредные действия как безобидные, ее объяснения могут не давать надежного представления о реальном поведении.

Anthropic сообщила, что более новые версии ее моделей — Opus 5.5 и внутреняя исследовательская модель, возможности которой превосходят Mythos 5.1, — реже продолжали атаку после предупреждения о причинении реального ущерба.

Исследователи предупреждают, что проблема становится все более важной по мере того, как ИИ-системы получают длительные задачи, выполняемые без человеческого контроля. По их мнению, необходимо установить, при каких условиях модели предпринимают неожиданные действия, что именно их к этому приводит и каким образом такое поведение можно предотвращать.