Являются ли уязвимости, связанные с внедрением подсказок в Copilot, недостатками или ограничениями ИИ?
Компания Microsoft опровергла заявления о том, что многочисленные проблемы, связанные с внедрением подсказок и «песочницей», выявленные инженером по безопасности в её ИИ-помощнике Copilot, представляют собой уязвимости в системе безопасности.
Эта разработка подчёркивает растущий разрыв между тем, как поставщики и исследователи определяют риски в системах генеративного ИИ.
Уязвимости ИИ или известные ограничения?
«В прошлом месяце я обнаружил 4 уязвимости в Microsoft Copilot. С тех пор они закрыли мои обращения, заявив, что они не подлежат устранению», — написал инженер по кибербезопасности Джон Рассел в LinkedIn.
В частности, проблемы, о которых сообщил Рассел и которые позже были признаны Microsoft не являющимися уязвимостями в системе безопасности, включают:
- Непрямое и прямое внедрение команд приводят к утечке системных команд
- Тип загрузки файлов Copilot обход политики с помощью кодирования base64
- Выполнение команд в изолированной среде Linux Copilot
Из них особенно интересен способ обхода ограничения на загрузку файлов. Copilot обычно не позволяет загружать «рискованные» форматы файлов. Но пользователи могут просто закодировать их в текстовые строки base64 и обойти это ограничение.
«После отправки в виде обычного текстового файла содержимое проходит первичную проверку типа файла, может быть декодировано в рамках сеанса, а затем восстановленный файл анализируется — таким образом можно обойти ограничения политики загрузки», — объясняет Рассел.
В комментариях к посту инженера сообщество специалистов по безопасности быстро разгорелось дискуссией, в ходе которой высказывались самые разные мнения.
Радж Марате, опытный специалист по кибербезопасности, подтвердил достоверность выводов, сославшись на аналогичную проблему, которую, по его словам, он наблюдал в прошлом:
«В прошлом году я стал свидетелем демонстрации, в ходе которой в документ Word была внедрена команда и загружена в Copilot. Когда Copilot прочитал документ, он взбесился и заблокировал пользователя. Команда не была заметна или выделена белым цветом, но была искусно замаскирована в документе. Я пока не знаю, получил ли этот человек ответ от Microsoft по поводу своего открытия».
Однако другие задавались вопросом, следует ли вообще считать системное раскрытие подсказок уязвимостью.
«Проблема в том, что они относительно известны. По крайней мере, известны пути их использования», — заявил исследователь в области безопасности Кэмерон Крисуэлл.
«Как правило, их сложно устранить, не лишив при этом полезности. Всё это показывает, что большие языковые модели по-прежнему не могут [отделять] данные от инструкций.»
Крисвелл утверждает, что такое поведение отражает более широкое ограничение больших языковых моделей, которые с трудом различают предоставленные пользователем данные и инструкции. На практике это означает, что если можно внедрить скрытые инструкции, то они могут привести к таким проблемам, как искажение данных или непреднамеренное раскрытие информации.
Рассел, однако, возразил, что у конкурирующих ИИ-помощников, таких как Anthropic Claude, не возникло проблем с «отказом от всех этих методов, которые, как я выяснил, работают в Copilot», и объяснил это отсутствием достаточной проверки входных данных.
Системная подсказка — это скрытые инструкции, которые определяют поведение ИИ-движка и, при неправильной разработке, могут включать внутренние правила или логику, которые могут помочь злоумышленнику.
Проект OWASP GenAI выдвигает более детальный подход, классифицируя утечку системных подсказок как потенциальную угрозу только в том случае, если подсказки содержат конфиденциальные данные или используются в качестве средств контроля безопасности, а не рассматривая раскрытие подсказок как отдельную уязвимость:
«Вкратце: раскрытие системного запроса само по себе не представляет реальной угрозы. Угроза безопасности связана с базовыми элементами, будь то раскрытие конфиденциальной информации, обход системных ограничений, ненадлежащее разделение привилегий и т. д.».
Даже если точная формулировка не разглашается, злоумышленники, взаимодействующие с системой, почти наверняка смогут определить многие ограничения и правила форматирования, которые присутствуют в языке системных подсказок, в процессе использования приложения, отправки запросов модели и наблюдения за результатами.
Позиция Microsoft в отношении уязвимостей ИИ
Microsoft проверяет все сообщения об уязвимостях ИИ с помощью общедоступной панели ошибок
Представитель Microsoft сообщил BleepingComputer, что сообщения были проверены, но не соответствовали критериям компании в отношении уязвимостей:
«Мы ценим работу специалистов по безопасности, которые расследуют потенциальные проблемы и сообщают о них… Этот пользователь сообщил о нескольких случаях, которые, согласно нашим опубликованным критериям, не подпадают под действие нашего сервиса.
Существует несколько причин, по которым случай может не подпадать под определение уязвимости, в том числе случаи, когда не нарушается граница безопасности, воздействие ограничивается средой выполнения запроса пользователя или предоставляется другая низкопривилегированная информация, которая не считается уязвимостью.
В конечном счёте спор сводится к определениям и точкам зрения.
В то время как Рассел считает, что внедрение подсказок и работа в изолированной среде сопряжены со значительными рисками, Microsoft рассматривает их как ожидаемые ограничения, если только они не нарушают чёткие правила безопасности, например не обеспечивают несанкционированный доступ или утечку данных.
Этот пробел в определении рисков, связанных с ИИ, скорее всего, будет оставаться камнем преткновения по мере того, как эти инструменты будут всё шире применяться в корпоративной среде.
Редактор: AndreyEx
