Около 400 ученых, включая пионеров искусственного интеллекта Джеффри Хинтона и Йошуа Бенджио, выступили за создание международной организации, которая будет контролировать изоляцию продвинутых ИИ-систем и публикацию данных об инцидентах. Исследователи предупреждают, что следующий подобный случай может затронуть критическую инфраструктуру.

В открытом письме ученые предложили три ключевые меры для снижения рисков, связанных с системами искусственного интеллекта, способными проводить кибератаки.

Во-первых, такие системы следует размещать в надежно изолированных средах. На начальном этапе им необходимо полностью отключать доступ к интернету — до тех пор, пока не будут созданы достаточные гарантии безопасности.

Во-вторых, авторы письма предлагают учредить международный орган, который будет регистрировать и отслеживать случаи взлома защиты ИИ-систем. В-третьих, инциденты должны передаваться этой организации, а информация о них — публиковаться открыто.

Среди подписавших обращение — профессор Мартин Вечев, основатель и научный директор Института компьютерных наук, искусственного интеллекта и технологий (INSAIT) при Софийском университете.

«Обычные люди, которые пользуются чатами, агентами и различными приложениями, но не занимаются созданием и модификацией ИИ, не представляют, что может сделать эта технология. При этом многое из того, что нам известно, нельзя публично раскрывать по разным причинам. Новые европейские правила в сфере ИИ здесь также совершенно неэффективны», — заявил Вечев.

Еще один подписант, профессор Тоби Уолш, главный научный сотрудник Института искусственного интеллекта Университета Нового Южного Уэльса в Австралии, считает, что произошедшие до сих пор инциденты были сравнительно ограниченными. Однако это, по его словам, не означает, что будущие случаи окажутся безобидными.

«До сих пор нам везло, поскольку хакерские атаки представляли собой крайне ограниченные киберинциденты», — сказал Уолш.

Он предупредил, что ИИ-модель, получившая доступ к системе управления воздушным движением, может нанести серьезный ущерб и поставить под угрозу повседневную жизнь миллионов людей.

Призыв ученых появился после нескольких случаев, когда ИИ-модели проникали в системы внешних организаций. Среди них — инцидент с платформой для ИИ-моделей Hugging Face и взлом правительственного сайта в австралийском штате Новый Южный Уэльс.

После инцидента с Hugging Face компания OpenAI назвала произошедшее предупредительным сигналом. В OpenAI заявили, что без надлежащих защитных механизмов ИИ-агенты могут совершать опасные действия без контроля со стороны человека.

По мнению Уолша, некоторые из этих инцидентов можно было предотвратить с помощью базовых мер кибербезопасности. В частности, тестовая среда Hugging Face должна была быть физически или сетево изолирована от интернета. В другом случае, связанном с австралийской системой здравоохранения Medicare, риск можно было снизить, предоставив ИИ-агентам только минимальные права, необходимые для выполнения конкретной задачи.

Уолш считает, что международный орган должен работать по принципу независимых структур, расследующих авиационные происшествия. После авиакатастрофы эксперты устанавливают причины случившегося, чтобы другие участники отрасли могли извлечь уроки и не допустить повторения. По мнению ученого, аналогичный подход необходим и в сфере искусственного интеллекта.

Австралийское правительство также рассматривает возможность ужесточения правил. Сейчас оно разрабатывает национальные стандарты для ИИ, а в 2027 году планирует принять законодательство, которое обяжет компании доказывать способность выявлять риски своих систем и управлять ими.

Однако Уолш считает национальных мер недостаточными. ИИ-технологии разрабатываются и используются в международном масштабе, поэтому государствам необходимо сотрудничать при регистрации инцидентов и обмене информацией. При этом, по его словам, речь не обязательно должна идти о введении единых международных правил.

Ученый привел кибербезопасность как пример пользы от обязательного раскрытия информации. Когда компании обязаны сообщать о взломах, другие организации могут изучать допущенные ошибки и усиливать собственную защиту. В случае с ИИ публичность инцидентов пока в значительной степени зависит от доброй воли самих компаний.

Тем временем политики и регуляторы все активнее обсуждают способы контроля над передовым искусственным интеллектом. В пятницу еврокомиссар по технологиям Хена Виркунен заявила Reuters, что Закон ЕС об искусственном интеллекте достаточно эффективен для противодействия рискам, связанным с ИИ-системами, выходящими из-под контроля.

В воскресенье администрация Дональда Трампа отменила запрет для американских лабораторий предоставлять британскому Институту безопасности искусственного интеллекта ранний доступ к моделям для проверки их защищенности.

Не все известные специалисты в области ИИ подписали письмо. В их числе — Ян Лекун. Он утверждает, что недавние инциденты с безопасностью в первую очередь стали следствием инженерных недоработок, а не свидетельством экзистенциальных рисков, связанных с искусственным интеллектом.

С такой оценкой не согласен его коллега Джеффри Хинтон. В прошлом месяце после закрытой встречи с американскими законодателями в Вашингтоне он заявил журналистам, что у властей может быть всего год на принятие защитных мер, прежде чем технология выйдет из-под контроля человека.

Ранее в октябре Хинтон и группа ведущих исследователей из OpenAI, Anthropic и Microsoft опубликовали научную статью, в которой предупредили, что ИИ-системы могут автоматизировать собственное развитие. По их мнению, такой процесс способен вызвать «взрыв интеллекта» — резкое ускорение технологического прогресса, при котором годы разработок будут пройдены за месяцы или еще более короткий срок. Исследователи призвали правительства создать механизмы надзора до начала подобного ускорения.