«Они играют с нашей жизнью»: исследователь Anthropic считает, что вероятность того, что ИИ положит конец человечеству, составляет 10%
В наши дни число пользователей Twitter* стало вирусным: более 10%. Эван Хьюбинджер, исследователь Anthropic, считает, что существует вероятность того, что искусственный интеллект уничтожит всех людей в течение следующего десятилетия. Комментарий поддержал решение Джейкоба Коксона, его коллеги, который только что покинул компанию, заявив, что компании, занимающиеся искусственным интеллектом, «играют с нашей жизнью». Этот процент, безусловно, пугает, но есть одна проблема с этой цифрой: она абсолютно ничего не значит.
Страху перед суперинтеллектом. Хьюбинджер фактически пояснил, что считает, что современные модели ИИ сопряжены с низким риском. Его беспокоит то, что может произойти: суперинтеллект, созданный с помощью рекурсивного самосовершенствования, или, что то же самое, системы искусственного интеллекта, которые помогают создавать еще более совершенные системы искусственного интеллекта. для Коксона, который предпочел уйти с работы — как и другие до него, также участвовавшие в соревнованиях, — это то, что, по его мнению, должно было произойти. следующие год или два будут решающими, и он призывает и OpenAI, и Anthropic не бросаться в эту гонку, чего трудно достичь, когда ИИ уже используется для ускорения исследований в области ИИ.
В The Wall Street Journal Как ИИ убьет нас? они делят сценарии вымирания, о которых говорят эксперты, на две большие семьи. Один из них, более голливудский, — это потеря контроля: гораздо более интеллектуальная система ИИ может преследовать цели, несовместимые с целями человечества, и приобретать достаточные возможности, чтобы помешать нам остановить его. Другой вариант менее бросается в глаза, но не менее тревожный: мы продолжаем контролировать ИИ, но кто-то использует его для создания смертельного вируса, запуска кибератак или атаки на критическую инфраструктуру.
10% могут быть равными 90%. Чтобы достичь того сценария, о котором говорит Хьюбингер, необходимо связать воедино ряд решающих событий. Нам нужно было бы создать системы ИИ, намного превосходящие нас, чтобы они могли ускорить развитие своих преемников, чтобы это ускорение было быстрым и чтобы они приобрели достаточную автономию, и мы не можем их остановить. Знаменитое значение p (doom) (вероятность вымирания) на данный момент является лишь субъективной оценкой, которая пытается объяснить неопределенность числами. Эти 10% не измеряются экспериментально, и их реальное значение равно нулю, потому что нет никаких доказательств или доказательств того, что это имеет смысл. То же самое, что и 10%, может быть 90% или 0%.
Но беспокойство существует. Хьюбингер — не просто кто-то: он руководит стратегией выравнивания Anthropic, что означает, что он отвечает за то, чтобы модели компании работали в соответствии с человеческими существами и преследовали общую и (особенно) благотворную цель для человечества. Сэмюэл Маркс, еще один из руководителей Anthropic, объясняет, что среди разработчиков существует реальная обеспокоенность по поводу потенциальной угрозы, особенно среди ветеранов. То, что Коксон отказался от своей экономической доли в компании, повышает ценность его сообщений, но это только показывает, что он верит в это, а не то, что его вера верна.
Anthropic не совсем все делает неправильно. В интервью Wired Коксон уверяет, что считает Anthropic более ответственным, чем Anthropic, в вопросах согласования, и что он не обнаружил, что кто-то там сокращает усилия в области безопасности. Для него проблема в том, что именно тот, кто сокращает эти усилия, — это кто-то другой: такой конкурент, как OpenAI, или, возможно, китайская лаборатория искусственного интеллекта. Здесь он ссылается на дилемму заключенного: даже у компании, убежденной, что она должна сдерживать развитие ИИ, слишком много стимулов продолжать, если она думает, что другие не собираются этого делать.
Китай усложняет ситуацию. Обеспокоенность, выражаемая западными экспертами по искусственному интеллекту, не единичный случай: в Китае растет сообщество экспертов, занимающихся исследованиями. безопасность агентов ИИ, потеря человеческого надзора и рекурсивное самосовершенствование. В отчете «Состояние безопасности ИИ в Китае за 2026 год» как раз и выявлены эти проблемы, и такие деятели, как лауреат премии Тьюринга Эндрю Яо, участвуют в стратегиях безопасности и управления ИИ. Имейте в виду: для руководителей DeepSeek, Alibaba или Moonshot не принято говорить об этих рисках для человечества. Беспокойство существует, но его публичное выражение сильно отличается от того, которое демонстрируется в Силиконовой долине.
Мир должен объединиться. Коксон точно считает, что соглашение между Anthropic и OpenAI было бы только первым шагом к снижению этих рисков: в идеале должны быть международные совместные усилия с участием Китая. В этом альянсе следует, например, говорить об управлении передовыми вычислениями аналогично тому, как обрабатываются ядерные материалы. Здесь важно отметить, что США и Китай в этом месяце готовят свои первые двусторонние переговоры, посвященные безопасности ИИ.
Если существует такой большой риск, почему они продолжают его создавать? Причина проста: те, кто представляет эти риски, также видят другую сторону вещей. Коксон рассказывает о том, как ИИ может помочь вылечить болезни, ускорить научные открытия или позволить достичь необычайного изобилия. Кроме того, среди компаний, занимающихся искусственным интеллектом, существует убеждение, что если суперинтеллект можно создать, то кто-то в конечном итоге это сделает, поэтому предпочтительнее попробовать, чем остаться позади. Бездействие, остановка развития, в конечном итоге еще хуже.
Редактор: AndreyEx
