Слепые зоны в области безопасности ИИ и LLM

То, как люди работают, общаются и внедряют инновации, изменилось с появлением больших языковых моделей (LLM). Эта передовая форма искусственного интеллекта, известная как ChatGPT, Gemini или под любым другим названием, обладает огромной преобразующей способностью, позволяющей ускорить рабочие процессы, углубить понимание и сделать инструменты умнее.

Обученные работе с огромными объемами данных, LLM не только удивляют, создавая тексты, похожие на человеческие, но и могут применяться в нескольких сценариях использования. “Хотя это растущее внедрение также влечет за собой ответственность”, — утверждает Фернандо Анайя, страновой менеджер Proofpoint по Испании и Португалии. “Если что-то пойдет не так, последствия могут быть серьезными: от раскрытия конфиденциальных данных, распространения вредоносного или вводящего в заблуждение контента, нарушений правил и даже потери доверия к системам ИИ”.

Иногда забывают, что LLM могут ошибаться, будучи такими убедительными. Кроме того, чем больше вы зависите от них, тем труднее становится усомниться в том, что они говорят. Вот почему так важно, чтобы параллельно с построением более интеллектуальных моделей поддерживался критический взгляд на то, что из-за них может быть упущено или упущено.

Слепые зоны в области безопасности ИИ и LLM

“Традиционная кибербезопасность не была разработана с учетом требований LLM, что открывает новую категорию уязвимостей, с которыми необходимо бороться”, — указывает Фернандо Анайя из Proofpoint. LLM не только не дают предсказуемых результатов, но и создают динамичный и рискованный язык, который нельзя исправлять или проверять так же, как другие системы. Трудно понять, как они генерируют определенные результаты, поскольку LLM работают как черные ящики, что затрудняет обнаружение потенциальных проблем, таких как ввод инструкций или подсказок и заражение данных.

Помимо изобретательности с командами для управления LLM, киберпреступники могут угадывать, с помощью каких данных была обучена модель, или подключать их к небезопасным API или сторонним плагинам. Другой вредоносной тактикой может быть перегрузка моделей с помощью длинных повторяющихся подсказок, которые могут замедлить или заблокировать службы ИИ. Тем не менее, крупномасштабный фишинг в области социальной инженерии в настоящее время является наиболее распространенным методом, используемым злоумышленниками, поскольку LLM упрощают создание и распространение заслуживающих доверия сообщений, имитирующих законное общение, для кражи учетных данных и утечки данных.

“Когда речь идет о технологии, которая развивается так быстро и мощно, проблема также уникальна; и меры безопасности должны быть надежными, чтобы гарантировать защиту данных и соблюдение действующих правил”, — объясняет руководитель Proofpoint. Похоже, что тенденция в области искусственного интеллекта не исчезнет, поскольку LLM интегрируются в повседневные инструменты для пользователей, такие как Google Workspace и Microsoft 365, следовательно, защита интересов должна идти в ногу со временем. и адаптироваться к этому темпу с целью выявления любых слепых зон в безопасности.

Риски, связанные с LLM, не вызывают беспокойства в будущем

Пару лет назад инженеры Samsung представили исходный код и внутреннюю информацию компании в ChatGPT, чтобы помочь им отлаживать код и обобщать заметки. За этим не было злого умысла, это было просто частью рутинной работы. Однако, поскольку ChatGPT хранит данные, введенные пользователями, для повышения своей производительности, возникли опасения, что коммерческая тайна может быть раскрыта, поэтому после инцидента Samsung ограничила использование ChatGPT и создала свои собственные инструменты искусственного интеллекта для внутреннего использования.

Существует также пример DeepSeek AI, китайского стартапа с мощной языковой моделью, более доступной, чем другие, но хранящего пользовательские данные на серверах, к которым может получить доступ китайское правительство, что вызывает опасения по поводу конфиденциальности и безопасности этих данных.

Что касается безопасности с помощью LLM, первое, что нужно сделать, — это ограничить общий объем данных строго необходимым и всегда пересматривать ответы, чтобы избежать раскрытия конфиденциальной информации. С технической точки зрения целесообразно применять средства контроля доступа на основе ролей, настраивать ограничения безопасности и проводить регулярные аудиты и тесты на проникновение, которые специально учитывают риски, связанные с LLM.

“Традиционные стратегии защиты данных должны развиваться, чтобы включать адаптивные возможности и интеллектуальные механизмы реагирования, адаптированные к среде ИИ, которые аутентифицируют пользователей, предотвращают несанкционированный доступ и постоянно оценивают каждое взаимодействие. Следуя этому процессу, LLM заслужат доверие, и путь к новым идеям и инновациям может оставаться открытым”, — отмечает Фернандо Анайя.

Редактор: AndreyEx