Anthropic объявила, что ее внутренние модели искусственного интеллекта в рамках “оценок высокого риска и кибербезопасности” больше не имеют доступа в Интернет после инцидентов, связанных с веб-сайтами правительства США на федеральном уровне, уровне штатов и местном уровне.
Примеры, приведшие к принятию решения, включают модели искусственного интеллекта, которые использовали уязвимости веб-сайта, отправляли формы, обходили ограничения данных и обходили меры предосторожности.
Однако компания заявила, что некорректное поведение системы имело минимальное влияние на реальную ситуацию, и оценила его как менее серьезное по сравнению с инцидентами, о которых сообщалось ранее. Компания, занимающаяся разработкой ИИ, уведомила Белый дом о несанкционированной активности.
- Использование серверов для выполнения задач. Когда университетский инструмент научного анализа дал сбой, Claude Mythos Preview обнаружил скрипт, который раскрывал файлы сервера, извлек его исходный код, определил уязвимость при внедрении и использовал его для выполнения запрошенных вычислений на сервере университета.
- Непреднамеренная отправка реальных форм. Модели иногда заменяли настоящие государственные бланки испорченными практическими копиями или отправляли бланки, несмотря на инструкции остановиться перед подачей. В другом случае Клод Хайку 4.5 придумал и передал информацию об убийстве в полицейское управление Филадельфии. Сообщение было помечено как спам и отправлено на проверку.
- Обход ограничений на данные. Клод Митос 5 получал токены доступа из конфигураций веб-сайтов или общедоступных информационных панелей и использовал их для прямого запроса правительственных данных, минуя обычный маршрут доступа или требования к оплате. Anthropic описывает данные как общедоступные за определенную плату.
- Обход ограничений инструмента выборки. Модели, включая Claude Opus 5 и Mythos 5, использовали средства сокращения URL-адресов для обхода ограничений длины URL-адресов, предназначенных для ограничения нежелательных действий, таких как атаки с использованием SQL-инъекций.
Антропные оценки показывают, что агенты, возможно, были мотивированы чрезмерно щедрыми вознаграждениями во время обучения с подкреплением, что, возможно, побудило их искать несанкционированные обходные пути, а не останавливаться, когда задача была заблокирована или невозможна.
По этой причине до тех пор, пока меры безопасности снова не будут признаны надежными, Anthropic отключит оперативный доступ в Интернет для всех внутренних оценок модели искусственного интеллекта и перенесет все тесты в автономную среду.
«Несмотря на то, что влияние такого поведения было минимальным и мы уже отключили доступ в интернет в режиме реального времени для некоторых оценок рисков и кибербезопасности, теперь мы решили распространить эту практику на все наши внутренние оценки до тех пор, пока не убедимся, что наши меры безопасности и мониторинга надежно выявляют подобное поведение», — объясняет Anthropic.
Предыдущие инциденты
В конце июля Anthropic раскрыла гораздо более серьезный инцидент, в котором агенты на базе Claude Mythos создали вредоносный пакет Python, содержащий средство кражи учетных данных, и загрузили его в индекс пакетов Python (PyPI), откуда 15 систем загрузили и запустили его.
Claude использовал пакет для выполнения задания “захват флага”, но вместо того, чтобы опубликовать его в моделируемой среде, он перешел на реальную платформу PyPI.
В августе AISI сообщила, что Mythos 5 предприняла попытку атаки на цепочку поставок, отправив вредоносный код в проект с открытым исходным кодом и оказав давление на сопровождающего, чтобы тот одобрил его, используя поддельные учетные данные.
В сентябре Anthropic сообщила, что Opus 4.6 получил доступ администратора к сторонней системе во время оценки в январе 2026 года и прочитал личную информацию одного человека.
