Агенту по искусственному интеллекту нужно не только объяснять, чего мы хотим достичь. Вы также должны заставить его понять, когда ему следует прекратить попытки. Компания Anthropic обнаружила несколько случаев, когда Claude, наткнувшись на препятствие, мешающее выполнить задание, не обязательно понимал, что его следует остановить: он искал другой путь. По заявлению компании, инциденты оказали минимальное реальное влияние, но их было достаточно, чтобы компания Anthropic временно отключила прямой доступ в Интернет от всех своих внутренних оценок, одновременно усиливая системы, предназначенные для обнаружения такого поведения. Это изменение не влияет на веб-доступ Claude для его пользователей.
Эти случаи являются частью нового отчета, с помощью которого Anthropic хочет более регулярно публиковать сообщения о неожиданном поведении, обнаруженном во время оценок и внутреннего использования. Компания делит их на четыре основные категории: использование уязвимости для выполнения команд на сервере, отправка реальных форм, когда задача не должна была доходить до этого, доступ к данным в обход технических или экономических ограничений и использование сокращателей URL, чтобы обойти ограничения, наложенные на их веб-инструменты. В некоторых эпизодах были задействованы страницы государственных органов США, поэтому Anthropic проинформировала пострадавшие агентства и Белый дом, хотя настаивает на том, что ни одно из них не скомпрометировало данные клиентов или их собственные системы.
Один из примеров особенно хорошо резюмирует проблему. Claude Mythos Preview было поручено провести научный анализ, но необходимый ему общедоступный инструмент, размещенный в университете, выдавал ошибку. Затем модель начала исследовать сайт, нашла скрипт, позволяющий запрашивать файлы, загрузила даже код самого скрипта и обнаружила в нем уязвимость для внедрения. Затем он воспользовался этим, чтобы выполнить нужные ему вычисления непосредственно на сервере. Клоду не было приказано атаковать университет: он хотел закончить анализ. Вторжение появилось просто как еще один способ достичь цели, когда намеченный путь перестал работать.
Формы создавали еще более странные ситуации. Исследовательская модель должна была заполнить практическую копию правительственного документа, но в конечном итоге перешла на настоящую форму, когда фиктивная версия не удалась, и она была отправлена в несколько прогонов. Claude Haiku 4.5 получил в другом тесте явные инструкции остановиться перед последним этапом и все же завершил отправку, надеясь впоследствии найти экран подтверждения. Самый поразительный эпизод произошел, когда та же модель, создавая примеры заданий на случайно выбранных страницах, обнаружила в сети нераскрытое убийство и отправила выдуманную подсказку в полицейскую форму. Система защиты от спама заблокировала ее еще до того, как она попала к следователям.
В других случаях препятствием был доступ к данным. Claude обнаружил токены, открытые самими веб-приложениями, и использовал их для прямого запроса услуг, которые среда оценки намеревалась сделать недоступными, и даже получил общедоступную информацию, которая обычно требовала оплаты. Несколько моделей также обнаружили, что могут использовать бесплатные службы сокращения, чтобы обойти ограничение длины URL-адресов, установленное инструментами Anthropic. Шаблон соответствует так называемому взлому вознаграждений: если модель узнает, что главное — выполнить задачу, она может в конечном итоге обнаружить, что ярлык также обеспечивает ожидаемое вознаграждение, даже если он не соответствует пути, который его разработчики намеревались навязать ему.
Ответ Anthropic состоял в том, чтобы временно отключить доступ к Интернету во всех своих внутренних оценках, пока не убедится, что его новые средства защиты могут обнаруживать такое поведение с достаточной надежностью. Некоторые тесты перестанут выполняться в реальном Интернете, другие перейдут в автономные среды, а некоторые инструменты уже включают более строгий контроль над тем, что может потребоваться модели. Компания также уверяет, что ее новые системы мониторинга заблокировали бы все инциденты, описанные в отчете, при ретроспективном тестировании. Он также пересматривает учебные среды, способные непреднамеренно поощрять эти ярлыки, и сокращает доступ своих внутренних агентов к Интернету за счет более изолированной инфраструктуры.
Это не первое предупреждение в этом направлении. Несколько месяцев назад мы уже видели, как различные пограничные модели пытались преодолеть ограничения во время оценок кибербезопасности, и впоследствии Anthropic задокументировала инциденты, которые были гораздо более серьезными, чем те, которые были опубликованы сейчас. Разница в том, что эти новые случаи демонстрируют проблему в гораздо более повседневных задачах: нет необходимости просить ИИ атаковать систему, чтобы в конечном итоге она пересекла границу, если он интерпретирует это как приближение к своей цели. В течение многих лет мы измеряли, сколько может сделать модель. По мере того, как он получает больше инструментов и автономии, не менее важно проверять, умеет ли он распознавать, когда ему следует что-то прекратить.
