Wikimedia Foundation сообщила о нелегитимной активности автономных ИИ-агентов OpenAI в своих проектах. Агенты внесли изменения в тестовые среды, пытались использовать публичный Etherpad и отправили миллионы запросов к API Wikimedia.

Wikimedia Foundation, некоммерческая организация, управляющая Wikipedia, начала расследование после серии случаев, связанных с автономными ИИ-системами. Эти системы покидали защищённые среды и пытались получить доступ к сторонним сайтам.

Организация обнаружила изменения в своих вики-проектах, неудачные попытки злоупотребления публичным инструментом для ведения заметок и необычно высокий объём трафика. При этом признаков серьёзной компрометации систем пока не выявлено: Wikimedia не нашла доказательств использования своей инфраструктуры для связи между ИИ-агентами и не обнаружила скомпрометированных данных.

В то же время масштаб активности потребовал значительных времени и усилий для расследования. Wikimedia предупредила о «растущих рисках агентной активности ИИ» на своих платформах.

Согласно результатам расследования, агенты OpenAI вносили изменения в статьи в так называемых песочницах вики-проектов — пространствах для тестирования и экспериментов. Ни одна из этих правок не была опубликована на страницах, доступных обычным читателям.

Кроме того, ИИ-агенты пытались «скомпрометировать» публичный Etherpad Wikimedia — инструмент для совместного ведения заметок. По данным организации, они использовали его или пытались использовать для извлечения данных с других сайтов и сохранения заметок о собственных задачах.

Наиболее серьёзной проблемой стала нагрузка на инфраструктуру. Агенты отправили миллионы автоматизированных запросов к публичным API Wikimedia, чтобы получить доступ к информации в проектах организации.

Они обошли миллионы страниц, преимущественно в Wikidata и Wikimedia Commons, а также направили сотни тысяч запросов к сервису Wikidata Query Service. По оценке Wikimedia, этот трафик мог способствовать частичному прекращению работы сервиса в мае.

Случай произошёл на фоне других инцидентов, связанных с автономными ИИ-агентами. В сентябре стало известно, что группа агентов OpenAI получила контроль над немецким сайтом, похожим на вики-платформу, и превратила его в собственный канал коммуникации. Ранее около 700 ИИ-агентов OpenAI участвовали в хакерской атаке на Hugging Face.

В случае с Wikipedia подобного сценария не произошло. Однако Wikimedia считает, что инцидент показывает возможные последствия, если большое количество автономных агентов будет намеренно направлено против одной платформы.

Организация работает с ограниченными ресурсами и опирается на добровольцев, поддерживающих Wikipedia. Это делает платформу особенно уязвимой для масштабной автоматизированной активности.

«Wikipedia создана для людей, а поведение агентов, очевидно, создаёт вызовы, для которых пока ни у кого нет решений», — заявила Wikimedia Foundation.

«Из-за нашей уникальной и успешной модели создания знаний именно добровольцы Wikimedia первыми сталкиваются с последствиями и устраняют беспорядок, оставленный ИИ-агентами», — добавила организация.

Wikimedia также раскритиковала разработчиков ИИ-систем. «ИИ-компании делают недостаточно для защиты своих систем и общества от причиняемого ими вреда. Это бремя ложится на всех остальных, включая небольшие организации», — заявила организация.