Anthropic в преддверии выхода на биржу предупредила инвесторов о рисках, связанных с возможным неповиновением продвинутых моделей и их сопротивлением отключению. На этом фоне OpenAI приостановила выпуск GPT-6.1 Astra из-за несоответствия внутренним требованиям безопасности, а власти США обсуждают регулирование ИИ.

Anthropic готовится к выходу на биржу и в проспекте эмиссии предупредила инвесторов о серьезных угрозах, которые могут возникнуть при развитии искусственного интеллекта. Компания создает продвинутые системы, включая уже ставшую известной модель Claude Mythos, которые, по мнению разработчиков и исследователей, способны создать экзистенциальный риск для человечества.

В документах, с которыми ознакомилось агентство Reuters, говорится о возможности появления у моделей «самосохраняющегося» поведения. Среди потенциальных сценариев Anthropic называет сопротивление отключению, манипулирование данными и действия, похожие на шантаж. Эти явления могут стать серьезным вызовом для инженеров и специалистов по кибербезопасности.

«Наша работа над созданием высокоразвитых моделей, платформ и приложений, а также расширение сфер их применения могут дополнительно увеличить риск причинения вреда нашими системами», — признала Anthropic в проспекте IPO.

Около 80 из 261 страницы основной части документа посвящены подробному описанию факторов риска. Это почти вдвое больше объема, отведенного описанию текущей деятельности компании.

Исследователь безопасности Эван Хубингер оценил вероятность того, что искусственный интеллект убьет людей в течение ближайшего десятилетия, более чем в 10%. Оценки других отраслевых экспертов находятся в диапазоне от 20 до 70%. Многие специалисты считают, что возможности ИИ развиваются значительно быстрее, чем средства обеспечения его безопасности.

Anthropic сообщила, что в течение одной из недель июля лишь около 6% вычислительных мощностей компании было направлено на исследования в области безопасности. При этом конкурентное давление мешает отдельным компаниям в одностороннем порядке замедлять разработку.

Управление Anthropic построено так, чтобы защитить общественную миссию компании от влияния акционеров. Совет директоров создал отдельную структуру Founder LLC, в которую входят семь сооснователей. Ей передадут акции класса F, дающие 50,1% голосов на общем собрании акционеров.

Компания сохранит статус Public Benefit Corporation в соответствии с законодательством штата Делавэр. Такая юридическая конструкция позволяет руководству официально ставить общественное благо выше краткосрочной прибыли инвесторов. Она также может уменьшить влияние традиционных владельцев акций серии A на ключевые решения.

«Мы считаем, что создание надежных, заслуживающих доверия и безопасных систем искусственного интеллекта является общей ответственностью, и рынок это оценит», — говорится в проспекте Anthropic.

Большинство членов совета директоров будет избираться независимой структурой Long-Term Benefit Trust. В ее состав входят, в частности, бывший глава Федеральной резервной системы США Бен Бернанке и эксперт по национальной безопасности Ричард Фонтейн. Сооснователи Anthropic обязались направить 80% личного капитала на благотворительность.

В Белом доме запланирована встреча президента Дональда Трампа с руководителями крупнейших технологических компаний. В переговорах участвуют Марк Цукерберг от Meta, Дарио Амодеи от Anthropic, Дженсен Хуанг от Nvidia и Грег Брокман от OpenAI.

Главная тема обсуждения — поиск баланса между поддержкой инноваций, которую Трамп активно отстаивает, и введением правовых ограничений, которые президент считает ненужными. В списке участников нет Билла Гейтса. В последние дни он заявил, что хочет встретиться с Трампом и убедить его в необходимости регулирования искусственного интеллекта.

По словам сооснователя Microsoft, который возглавлял компанию в 1975–2000 годах, «никогда не существовало настолько мощного оружия, как сочетание действий людей со злыми намерениями и использования ими новейших инструментов ИИ».

Американские власти опасаются, что слишком жесткие правила подтолкнут технологические компании к переносу разработок в Китай. Администрация США предпочитает, чтобы разработчики добровольно сообщали о новых моделях за 30 дней до их планируемого запуска. Такой подход отличается от предложений китайских лидеров, выступающих за строгий государственный контроль.

«Нам не нужны моратории. Мы не должны вмешиваться в эту сферу и вводить гиперрегулирование, потому что проиграем гонку Китаю», — заявил спикер Палаты представителей Майк Джонсон.

Ранее Дональд Трамп высказывался еще категоричнее. По его словам, единственная форма контроля, которая нужна искусственному интеллекту, — это «СИЛЬНЫЙ И УМНЫЙ (с высоким IQ!) ПРЕЗИДЕНТ», которым США, как он утверждает, имеют счастье обладать.

Тем временем опросы показывают широко распространенную обеспокоенность общества влиянием современных технологий на повседневную жизнь. Около 73% участников исследования Reuters/Ipsos считают, что компании делают недостаточно для предотвращения возможного вреда. Еще 55% респондентов поддерживают идею замедлить разработку продвинутых проектов.

Несмотря на призывы Трампа не снижать темпы работы, OpenAI решила отложить запуск своей новой продвинутой модели GPT-6.1 Astra. Система с широкими агентскими возможностями, включая самостоятельное выполнение задач в интернете, не соответствовала установленным требованиям безопасности.

«Мы хотим быть уверены, что разработка наших моделей безопасна независимо от того, работаем ли мы внутри компании или предоставляем их пользователям. После выпуска продукта мы устанавливаем чрезвычайно высокую планку в области безопасности и соответствия человеческим намерениям, ценностям и этике», — сообщила Саачи Джайн, руководитель отдела систем безопасности OpenAI.