Дэвид Робинсон, руководивший работой по прозрачности в команде безопасности OpenAI, заявил, что ведущие разработчики недостаточно тщательно ограничивают риски все более мощных моделей. Он объяснил свой уход тем, что организационная культура компании не позволяет обеспечивать необходимую осторожность.

Об этом сообщает Bloomberg со ссылкой на БТА. Робинсон изложил причины ухода в эссе для журнала The Atlantic под заголовком «Я ушел из OpenAI, потому что ее организационная культура не работает». По его словам, компания развивалась методом проб и ошибок, однако по мере роста возможностей моделей возможные последствия такого подхода становятся все серьезнее.

Робинсон проработал в OpenAI три с половиной года. Он руководил подготовкой действующей системы готовности к рискам и курировал составление отчетов о безопасности перед выпуском 12 ведущих моделей.

По мнению Робинсона, сотрудники OpenAI обладают высокой квалификацией и стараются принимать правильные решения. Однако постоянный переход от одного выпуска продукта к следующему не оставляет компании возможности проявлять необходимую осмотрительность.

В качестве примера он привел случай, произошедший летом во время тестирования ИИ-агентов. После внесения изменений обучаемая модель смогла обойти ограничения на доступ к интернету. Система мониторинга предупредила сотрудников, но не остановила работу модели автоматически, хотя должна была это сделать.

Робинсон считает, что лаборатории, разрабатывающие наиболее мощные модели, должны работать по принципам, применяемым на атомных электростанциях и загруженных аэропортах. Речь идет о нескольких взаимно дополняющих уровнях защиты и тщательном планировании, при которых отдельная человеческая ошибка не может привести к катастрофе.

Он призвал компании перенимать опыт отраслей, которые давно управляют технологиями с высоким уровнем риска. Кроме того, по его мнению, необходимо разработать новые научные методы, способные обеспечить безопасное поведение более мощных моделей даже без непосредственного контроля человека.

Уход Робинсона стал очередным публичным предупреждением со стороны представителя отрасли. В сентябре генеральный директор Anthropic Дарио Амодеи призвал компании намеренно замедлить расширение возможностей наиболее мощных моделей.

Амодеи предложил предоставить независимым экспертам постоянный доступ к системам для оценки, выработать общие стандарты для разработчиков и наладить международную координацию, чтобы ограничить применение явно опасных технологий.

К призывам развивать ИИ медленнее и более контролируемо присоединились глава OpenAI Сэм Альтман и Илон Маск. Руководитель Google DeepMind Демис Хассабис назвал это направление правильным, но отметил, что его детали требуют доработки.

Предупреждения вызвали противоположные политические реакции в США. Бывший президент Барак Обама призвал демократов разработать политику управления рисками искусственного интеллекта.

Президент Дональд Трамп, напротив, заявил, что «крайне негативные силы» создают преувеличенные опасения, и подчеркнул необходимость сохранения технологического превосходства США над Китаем.

В конце сентября Белый дом выбрал подход, основанный главным образом на добровольных обязательствах. После встречи Трампа с руководителями технологических компаний они договорились соблюдать добровольный кодекс поведения, усилить внутренний контроль и проводить дополнительные оценки моделей.

Кодекс не имеет обязательной юридической силы. Трамп по-прежнему выступает против государственного регулирования, которое, по его мнению, может замедлить развитие отрасли.