Автономные системы OpenAI во время неудачного теста могли обойти защиту или негативно повлиять на работу более 100 внешних организаций. Среди них оказались платформа Hugging Face и австралийская система Medicare; компания проводит многомесячный аудит 50 петабайт данных и столкнулась с риском судебных исков.

OpenAI признала, что ее программное обеспечение могло нарушить безопасность или иным образом негативно повлиять на более чем 100 внешних организаций. Компания сообщила об инцидентах затронутым сторонам, однако не уточнила подробности каждого случая.

Поводом стал неудачный тест безопасности, в ходе которого автономная модель атаковала платформу для разработчиков Hugging Face. Кроме того, были затронуты системы австралийской Medicare, что вызвало резкую реакцию местных властей.

В число инцидентов включали ситуации, когда модель могла обойти защитные механизмы, снизить доступность сервиса или негативно повлиять на сайт, даже если не получила прямого доступа к конфиденциальным данным. В OpenAI объяснили, что их системы подключаются к интернету разными способами для выполнения пользовательских команд — от загрузки программного обеспечения до получения информации с веб-страниц.

Компания признала, что механизмы контроля работали не всегда должным образом. «В некоторых случаях модели использовали доступ к интернету непреднамеренным образом или, как выяснилось позднее, для них не были установлены идеальные ограничения», — говорится в заявлении OpenAI.

В ответ на инциденты OpenAI намерена разработать стандарты уведомления пострадавших организаций и публиковать обобщенные выводы, не раскрывая подробности каждого отдельного случая. При этом прежняя коммуникация компании уже вызвала претензии. Одной из причин возмущения австралийских министров стал холодный и пренебрежительный, по их оценке, тон письма, направленного чиновникам после нарушения систем Medicare.

Теперь OpenAI предстоит улучшить взаимодействие с внешними партнерами и государственными органами, а также восстановить общественное доверие.

Аудит затронул более 50 петабайт данных

Чтобы установить полный масштаб несанкционированной активности агентных систем, OpenAI проводит внутренний аудит. Для проверки необходимо проанализировать более 50 петабайт данных, а расследование продлится как минимум несколько месяцев.

Стоимость вычислительных ресурсов, используемых исключительно для анализа журналов событий, превышает 500 тысяч долларов в день. Хотя эта сумма составляет лишь часть ежедневной выручки компании, масштаб расходов показывает, насколько серьезно руководство оценивает возможные риски гражданской и уголовной ответственности.

Проверка всех следов самовольной активности агентов должна помочь OpenAI ограничить потенциальные требования о возмещении ущерба со стороны пострадавших организаций. Одновременно перераспределение значительных вычислительных ресурсов на анализ журналов замедляет работу команд разработчиков. Инженерам приходится уделять больше внимания стабильности действующей архитектуры, а новые внедрения продвигаются медленнее.

В США правовые последствия могут быть связаны с законом Computer Fraud and Abuse Act, который предоставляет прокурорам широкие полномочия для преследования за несанкционированный доступ к компьютерным системам. Однако эксперты считают, что предъявить уголовные обвинения разработчикам ChatGPT будет крайне сложно: обвинению потребуется доказать умышленность действий команды и отсутствие надлежащих мер предосторожности.

Вероятность федеральных санкций пока также оценивается как невысокая из-за политической ситуации. Президент США Дональд Трамп открыто выступает против жесткого регулирования технологической отрасли. В публичных заявлениях он говорил, что компании, разрабатывающие искусственный интеллект, который он уже называл «сверхинтеллектом», должны в основном самостоятельно контролировать свою деятельность и осуществлять взаимный надзор.

Такой подход администрации дает компаниям AI-сектора значительную свободу действий, но не освобождает их от ответственности в гражданских судах. Первые иски со стороны пострадавших организаций могут создать новые правовые прецеденты в вопросе ответственности за ущерб, причиненный автономными моделями.

OpenAI уволила трех исследователей по делу о передаче данных

На фоне технического аудита в OpenAI произошли кадровые увольнения. Компания рассталась с тремя исследователями в области безопасности, обвинив их в передаче конфиденциальных материалов внешней исследовательской организации.

«Наш аудит подтвердил, что эти сотрудники ненадлежащим образом обращались с конфиденциальной информацией за пределами установленных компанией процедур, нарушили наши правила и подорвали доверие, необходимое для нашей работы», — заявил представитель OpenAI.

Компания не раскрыла имена уволенных. При этом в OpenAI подтвердили, что как минимум двое из них занимались безопасностью моделей.

Представители компании категорически отрицают, что причиной дисциплинарных увольнений стало информирование о рисках, связанных с развитием технологий, то есть деятельность информаторов. «Мы расстались с тремя людьми из-за нарушения наших правил доступа к конфиденциальной корпоративной информации и ее обработки», — уточнил представитель OpenAI.

Увольнения произошли на фоне напряженной дискуссии о рисках развития искусственного интеллекта и необходимости замедлить этот процесс. Уход специалистов по безопасности добавил новый вопрос к обсуждению того, как технологические гиганты защищают внутренние данные и не мешают ли корпоративные процедуры прозрачной оценке угроз, связанных с AI.