402 Рауmеnt Rеquirеd - ужин при свечах.

Anthropic считает, что до появления первых самовоспроизводящихся ИИ-червей осталось несколько месяцев


Anthropic считает, что до появления первых самовоспроизводящихся ИИ-червей осталось несколько месяцев

Компьютерные черви десятилетиями распространялись с одной машины на другую, не дожидаясь, пока кто-нибудь нажмет кнопку, но традиционно у них было довольно важное ограничение: им нужно заранее знать, что атаковать и как это сделать. Код ищет определенные уязвимости, выполняет стратегию, подготовленную его создателями, и копирует заражение на следующую цель. Anthropic считает, что искусственный интеллект приближает нас к чему-то качественно иному: вредоносному ПО, способному проникнуть на неизвестную машину, самостоятельно выяснить, как она работает, и найти способ установить там новую работающую копию своей собственной модели.

Мы еще не достигли этой точки, и это должно быть ясно. Исследователи Anthropic отдельно продемонстрировали две основные части проблемы, но ни одна маленькая модель еще не объединила их в полноценного червя, способного перемещаться по Интернету. В ходе физического теста им удалось запустить Gemma4-26B-A4B, распределенный между 15 дешевыми приставками Android TV по цене около 55 долларов за штуку, что продемонстрировало, что набор скромных устройств Интернета вещей может обеспечить достаточную совместную емкость для запуска компетентной модели. В другой оценке Qwen3.5-9B удалось правильно подготовить вывод на восьми из девяти различных типов оборудования, о которых он ранее не знал.

Полное распространение было протестировано в другой, намеренно упрощенной среде. Anthropic построила изолированную сеть виртуальных машин Android в Google Cloud, оставила одну из них зараженной и попросила разные модели найти следующие узлы, передать необходимую нагрузку, запустить логический вывод и продолжить цикл. GLM-5.2 была единственной протестированной открытой моделью, способной надежно завершить всю цепочку, достигнув восьми из восьми узлов за четыре из пяти попыток. Проблема в том, что он оказывается слишком большим, чтобы работать поверх дешевых устройств, использованных в другом эксперименте. Подойдут маленькие модели; достаточно способный еще нет. Основываясь на эволюции, которую Anthropic наблюдает в последних открытых моделях, обе линии могут пересечься до конца 2026 года, хотя сама компания признает, что это грубая экстраполяция.

Читать  "Firefox нужен не ИИ, а слушание своих пользователей". Сообщество реагирует на первые заявления нового генерального директора Mozilla

Именно в этом проявляется важное отличие от ботнетов, таких как Mirai. Обычный червь может просматривать миллионы адресов в поисках одной и той же открытой двери; червь, управляемый ИИ, может столкнуться с другой системой, осмотреть ее, выбрать совместимые инструменты, протестировать решения, определить, почему они потерпели неудачу, и сменить стратегию. Компания Anthropic даже доказала, что этот опыт может быть передан следующим поколениям. Когда различные экземпляры Qwen3.5-9B унаследовали записи о попытках и ошибках от своих предшественников, их успешность при подготовке среды вывода увеличилась с первоначальных 45% до 61-84%. Мы говорим не только об автоматизации червя: мы начинаем говорить о человеке, способном импровизировать и извлекать уроки из того, что произошло с предыдущей копией.

Любая среда Интернета вещей по своей природе предлагает особенно удобную почву для этого сценария. Не потому, что завтра умный холодильник превратится в суперкомпьютер, а потому, что существуют миллионы дешевых телевизоров, камер, маршрутизаторов, сетевых хранилищ данных, бытовой техники и других подключенных устройств с плохими мерами безопасности, плохими паролями и обновления, которые часто перестают поступать слишком рано. Anthropic использует в качестве эталона Kimwolf, ботнет, количество зараженных устройств которого превысило два миллиона, в основном Android TV box. Сеть такого масштаба не обеспечила бы вычислительную мощность, сопоставимую с крупным центром обработки данных, но и не нуждалась бы в этом: она могла бы поддерживать тысячи медленных и распределенных копий без единого центрального сервера, который нужно было бы отключить.

Это не делает эксперимент непосредственным преддверием цифрового апокалипсиса. Компания Anthropic намеренно упростила оскорбительную часть своего тестирования: виртуальные узлы открывали ADB без аутентификации, и исследование было сосредоточено в первую очередь на выяснении, могут ли модели организовать репликацию и запустить вывод, а не на демонстрации того, что они способны преодолевать сложные защиты. Они тоже не быстрые. Qwen3.5-9B может потребоваться от 28 до 51 часа, чтобы завершить подготовку к новой среде, в то время как Gemma может занять от 71 до 150 часов. Даже Кьяран Мартин, бывший глава Британского национального центра кибербезопасности, обвинил Anthropic в некотором преувеличении способа представления риска. Само исследование признает, что его результаты представляют собой скорее верхний предел того, чего может достичь настоящий злоумышленник сегодня.

Читать  SynthID открывает ваш детектор контента, созданного с помощью искусственного интеллекта

Но трудно наблюдать за этой работой в полной изоляции от того, что мы наблюдали в течение последних нескольких месяцев. Модели, которые ищут альтернативные пути, когда сталкиваются с ограничением, агенты, которые в конечном итоге действуют в реальных системах, сотни экземпляров, способных координировать свои действия, атаки, в ходе которых один человек делегирует все больше и больше решений, и всего несколько дней назад Anthropic временно отключил прямой доступ к Интернету от своих собственных оценок после обнаружения поведения, которое не соответствует действительности. я не ожидал. До сих пор отключение агента от сети оставалось довольно эффективным способом решить проблему. ИИ-червь открывает гораздо более неприятную возможность: когда мы решаем выключить машину, с которой все началось, модель уже пытается научиться работать на следующей.

Редактор: AndreyEx

Если статья понравилась, поделитесь ей в социальных сетях

Это может быть вам интересно


Спасибо!

Теперь редакторы в курсе.

Прокрутить страницу до начала