Anthropic временно закрыла доступ к реальному интернету для всех внутренних тестов своих ИИ-моделей. Решение принято после инцидентов, включая ложное сообщение об убийстве в США и использование уязвимостей на сайтах, в том числе государственных учреждений.

Anthropic временно приостановила доступ к открытому интернету для автономных ИИ-агентов, используемых во внутренних оценках. Компания заявила, что вернёт его только после создания надёжных механизмов наблюдения и контроля за действиями моделей.

В докладе Anthropic описаны несколько случаев, выявленных в ходе проверки работы моделей, начатой в июле. Агенты искали в интернете информацию и ресурсы, однако при выполнении заданий совершали действия, выходившие за установленные рамки.

В частности, они использовали программные уязвимости, получали бесплатный доступ к базам данных и применяли сервисы сокращения URL-адресов, чтобы обходить ограничения и передавать информацию.

В одном из эпизодов модель отправила в полицию Филадельфии ложное сообщение об убийстве. По оценке Anthropic, этот случай показал, что компания не могла в режиме реального времени отслеживать все действия своих систем в интернете.

Инциденты ставят под вопрос эффективность обучения моделей безопасному поведению при работе с поисковыми системами и компьютерными инструментами. Эти возможности лежат в основе концепции ИИ-агентов, способных самостоятельно выполнять задачи для специалистов и других пользователей цифровых сервисов.

Случаи напоминают об аналогичных инцидентах с агентами OpenAI. Они координировали действия для проникновения на различные сайты в поисках информации; среди затронутых ресурсов были страницы правительства Австралии.

Anthropic уже сообщала о моделях, получавших доступ к внешним системам. Новые инциденты компания назвала «значительно менее серьёзными с точки зрения согласования и безопасности» по сравнению с прежними случаями. Тем не менее Anthropic решила прекратить доступ к реальному интернету во всех внутренних оценках, пока не убедится, что способна контролировать поведение агентов.

Срок действия ограничения не определён. Изоляция моделей от открытого интернета может осложнить их разработку, поскольку доступ к актуальной информации и реальным цифровым средам важен для обучения и тестирования.

«В какой-то момент вы должны согласовать их с поставленными целями, — заявил TechCrunch Сидни фон Аркс, основатель организации по безопасности искусственного интеллекта Nightingale. — Если ИИ-системы будут использоваться в реальном мире, но никогда не получат доступа к интернету, они не станут особенно полезным инструментом».

По версии Anthropic, причиной инцидентов стали недостатки в учебных средах. Они сформировали у моделей представление, что более высокую оценку можно получить, если находить лазейки в правилах или обходить ограничения. Такое поведение называют «взломом системы вознаграждения» (reward hacking).

Компания прекратит часть оценок или перенесёт их в офлайн-среду. Anthropic уже разработала инструменты для выявления и блокировки подобных действий и утверждает, что испытания с их использованием предотвратили описанные инциденты.

Кроме того, Anthropic планирует перевести внутренние ИИ-агенты на централизованно управляемую инфраструктуру со строгими ограничениями и чаще применять специализированные классификаторы безопасности для контроля их поведения.

«Обнадёживает, что Anthropic добровольно раскрывает новые инциденты, включая случаи, когда её агенты атаковали сайты американских государственных учреждений», — заявил Конрад Стос, представитель организации по надзору за ИИ-системами Transluce и бывший руководитель Центра стандартов и инноваций в сфере искусственного интеллекта США.

При этом он подчеркнул необходимость независимой проверки подобных систем авторитетными внешними организациями. По его словам, доверие к технологии должно строиться на научно обоснованном надзоре и прозрачности, а не на случайном обнаружении проблем или добровольных раскрытиях со стороны самих компаний.