Когда модели ИИ генерируют код, они одновременно повышают эффективность работы специалистов по безопасности и создают риски. Это противоречие лежит в основе нового инструмента под названием BlueCodeAgent, который помогает разработчикам и инженерам по безопасности защищаться от угроз, связанных с генерацией кода.
Почему генерация кода вызывает беспокойство
LLM все чаще используются при разработке программного обеспечения для таких задач, как генерация функций, скриптов и API. Но эти системы могут подвергнуть организацию новым рискам. В сообщении в блоге Microsoft объясняется, что модели генерации кода “могут непреднамеренно создавать уязвимый код, содержащий недостатки безопасности (например, риски внедрения, небезопасная обработка ввода)”.
В дополнение к проблемному коду исследователи выделяют такие риски, как предвзятые или вредоносные инструкции, принимаемые системами генерации кода.
Как BlueCodeAgent помогает разработчикам
BlueCodeAgent считает защиту кода своей ключевой задачей. Исследователи пишут, что это «комплексная система, созданная для повышения безопасности кода с помощью автоматизированных процессов, данных и правил безопасности, которые помогают языковым моделям принимать защитные решения». С практической точки зрения для разработчика или инженера по безопасности это означает, что BlueCodeAgent сочетает в себе два основных компонента:
- Конвейер «красной команды», который генерирует разнообразные атаки и рискованные сценарии. Он включает в себя генерацию инстансов на основе политик, оптимизацию состязательных подсказок на основе исходных данных и генерацию кода на основе уязвимостей.
- Агент «синей команды», который использует знания, полученные в ходе «красных» тестов (так называемые «конституции»), а также динамическое тестирование на основе «песочницы», при котором сгенерированный код выполняется в изолированных средах для проверки рисков.
Обзор BlueCodeAgent
Что показало исследование
По данным Microsoft, BlueCodeAgent превзошёл базовые подходы в трёх задачах: обнаружение предвзятых инструкций, обнаружение вредоносных инструкций и обнаружение уязвимого кода.
Исследователи выделяют четыре основных вывода:
- BlueCodeAgent выявляет как очевидные, так и неочевидные риски.
- Он работает с различными базовыми языковыми моделями (с открытым исходным кодом и коммерческими), что обеспечивает гибкость для разработчиков независимо от того, какую модель они используют.
- Он обеспечивает практический баланс между выявлением рисков и предотвращением чрезмерного количества ложных срабатываний в безопасном коде.
- Благодаря интеграции динамического тестирования BlueCodeAgent снижает количество ложных срабатываний (когда безопасный код помечается как небезопасный), что является известной проблемой при обнаружении уязвимого кода.
Что это значит для директоров по информационной безопасности и инженеров по безопасности
BlueCodeAgent выступает в качестве защитного слоя между генератором кода и конвейером разработки. Вместо того чтобы полагаться на общие рекомендации по безопасности, он использует правила, сформированные на основе тестирования «красной командой», и выполняет код в изолированной среде, чтобы подтвердить наличие реальной проблемы. Такой подход помогает командам разработчиков и специалистов по безопасности работать с меньшим количеством перерывов, поскольку инструмент снижает количество ложных срабатываний. Он также адаптируется к различным типам языковых моделей, что делает его полезным в средах, где команды используют как системы с открытым исходным кодом, так и коммерческие системы.
Внедряя BlueCodeAgent в существующие рабочие процессы, организации получают дополнительный уровень защиты перед тем, как код будет запущен в производство или станет частью общей кодовой базы.
Практические рекомендации по внедрению
Командам, которые хотят внедрить BlueCodeAgent в свою среду, необходимо продумать, на каком этапе цикла разработки программного обеспечения он будет использоваться. Распространенный подход — связать его с существующими проверками кода или этапами CI/CD, чтобы код, сгенерированный ИИ проверялся без дополнительных действий со стороны разработчиков. Среда «песочницы» также требует внимания, поскольку от неё зависит безопасная работа инструмента и достоверность результатов.
Специалисты по безопасности должны вести базу данных о шаблонах атак и распространённых уязвимостях, чтобы система оставалась эффективной с течением времени. Также важно отслеживать прогресс. Отслеживание точности обнаружения, количества ложноположительных и ложноотрицательных результатов помогает специалистам понять, как инструмент улучшает их рабочий процесс и нужны ли какие-то корректировки.