Ваши ИИ-агенты действуют наугад: от разрешений зависит масштаб ущерба

Посмотрите, как агент выполняет задачу, и вы увидите будущее корпоративной безопасности.

Когда-нибудь посмотрите, как Клод выполняет длительную задачу. Он может потратить 4 минуты на попытки прочитать CSV-файл, который оказался папкой, сдаться, написать скрипт для вывода списка его содержимого, а затем добраться до нужного места. Это работает. Просто не так, как вы себе представляли.

Это догадки о масштабе, и это не недостаток. Так работают большие языковые модели, и именно поэтому они так эффективны. Агенты мыслят вероятностно, выбирая следующее наилучшее действие, наблюдая за результатом и адаптируясь. Именно эта цикличность делает их такими мощными, но именно из-за нее модели безопасности, построенные на предсказуемых рабочих процессах, дают сбой.

ИИ-агенты способны импровизировать, и именно это делает их полезными. Но когда импровизация сочетается с широким доступом, каждый неверный шаг становится угрозой безопасности.

Итак, вопрос: как защитить систему, следующий шаг которой вы не можете предсказать?

Вопросы, на которые никто не хочет отвечать

Каждая команда, внедряющая агентов, сталкивается с одними и теми же проблемами, связанными с доступом, обычно даже не замечая их:

• Предоставляете ли вы агенту все инструменты, которые могут ему помочь, или только те, которые ему, скорее всего, понадобятся?
• Предоставляете ли вы агенту права администратора, потому что в некоторых исключительных случаях это может потребоваться?
• Предоставляете ли вы агентам широкий доступ или ограничиваете его конкретным запросом, который стоит перед агентом в данный момент?

Нужны ли все эти коннекторы? Для каких нужен доступ администратора? Нужны ли они для каждого сеанса?

Ни на один из этих вопросов нет однозначного ответа, потому что обеспечить принцип наименьших привилегий сложно. Сделать это для каждого агента, а затем для каждого сеанса, который запускает агент, на порядок сложнее.

Поэтому команды поступают по-человечески: предоставляют полный доступ и идут дальше. Широкие права доступа — это путь наименьшего сопротивления, и агенты наследуют их по умолчанию.

Почему привычные методы не работают

В течение двух лет большая часть усилий по обеспечению безопасности ИИ была направлена на формирование реакции моделей. Ограничения, включающие фильтрацию подсказок, ограничения на входные и выходные данные, а также контроль поведения. Несмотря на то, что они полезны во многих ситуациях, для решения стоящей перед нами задачи они не подходят.

Фильтры подсказок пытаются ограничить поведение. При использовании естественного языка в качестве интерфейса и бесконечном количестве возможных подсказок всегда найдется другой путь. Фильтрация, которая работает в 99 % случаев, все равно дает сбой, потому что один процент от бесконечности — это все равно бесконечность.

Что еще важнее, защитные механизмы срабатывают уже после того, как доступ был предоставлен. Как только агент получает учетные данные для доступа к производственной системе, граница безопасности оказывается за ним. Фильтр может влиять на то, что говорит агент, но не может отменить то, что ему разрешено делать.

Прогнозирование не работает по той же структурной причине. Традиционное управление идентификацией и доступом отвечает на один вопрос: чего может достичь эта личность? Эта модель менее полезна для агентов ИИ. Два агента с одинаковыми правами доступа могут вести себя совершенно по-разному в зависимости от того, чего каждый из них пытается достичь.

Невозможно защитить систему, ориентированную на достижение цели, анализируя ее прошлое поведение, потому что ее следующее действие зависит от контекстов, с которыми она еще не сталкивалась.

Почему это срочно

Масштабы уже достигнуты. По данным Palo Alto Networks, соотношение нечеловеческих и человеческих идентификаторов составляет 109 к 1, включая 79 агентов искусственного интеллекта. Агенты ускоряют этот процесс, потому что любой может создать их за считаные минуты, и большинство из них не проходят проверку на безопасность.

Риск, связанный с агентами, можно представить как доступ, умноженный на автономность. Доступ определяет радиус поражения, а автономность сужает возможности для вмешательства человека. Статические политики управления идентификацией и доступом, написанные для людей, которые входят в систему в рабочее время и проверяют ее раз в квартал, никогда не разрабатывались для агентов, которые никогда не спят, не используют многофакторную аутентификацию и редко отключаются.

Identity — единственный уровень контроля, который работает

Уберите модель, подсказку и фреймворк, и останется только одно: каждое действие агента проходит через систему идентификации. Он проходит аутентификацию с помощью служебной учетной записи, ключа API, гранта OAuth, облачной роли или токена. Все действия, от чтения данных до изменения инфраструктуры, зависят от прав доступа, предоставленных идентификационным данным агента.

Вот почему идентификация, а не фильтрация подсказок, является основой управления агентским ИИ. Идентификация — это уровень, охватывающий все системы, к которым обращается агент, и поэтому он является единственным местом, где можно обеспечить постоянный контроль. Идентификация контролирует доступ, а интенты делают этот доступ безопасным.

Намерение — недостающее измерение

Традиционный контроль доступа определяет, что может делать пользователь. Для агентов этого недостаточно, потому что именно цель отличает безопасное поведение от опасного.

Агент, устраняющий сбой при развертывании, и агент, похищающий данные, могут выполнять практически идентичные низкоуровневые действия: чтение журналов, вызов API и доступ к базе данных. С точки зрения IAM они выглядят одинаково, но цели у них совершенно разные.

Безопасность на основе намерений восполняет этот недостающий контекст. Вместо того чтобы спрашивать: «К чему может получить доступ этот агент?», вы спрашиваете: «К чему должен иметь доступ этот агент для выполнения своей задачи и ни к чему больше?» После того как намерение определено, можно четко ограничить доступ, и все, что выходит за эти рамки, перестает быть обычной аномалией и становится сигналом о нарушении безопасности, на который следует реагировать.

Кроме того, это единственная версия принципа наименьших привилегий, которая выдерживает проверку реальностью. Вы не можете вручную настраивать разрешения для каждого агента и каждого сеанса.

Однако вы можете смоделировать намерения каждого агента и автоматически применить к ним контроль доступа. Именно этот сдвиг превращает принцип наименьших привилегий из мечты в реальность.

Видимость — это основа. Главное — контроль.

Большинство инструментов ограничиваются видимостью. Список агентов необходим, но он не меняет того, что разрешено делать агенту. Знать, что у вас есть проблема, — это не то же самое, что ее решить, и пользователи будут продолжать предоставлять как можно больше доступа, чтобы быстрее выполнять свою работу.

Работа, которая действительно снижает риски, носит превентивный и непрерывный характер.

• Обнаружьте всех агентов и идентификаторы, которые они используют, в облачных системах, SaaS, конечных точках и на платформах искусственного интеллекта, включая теневых агентов, которых никто не регистрировал.
• Поймите, к чему имеет доступ каждый агент и для чего он предназначен, чтобы правильно настроить разрешения в соответствии с его задачами.
• Обеспечьте соблюдение этих ограничений, отменяйте доступ при выводе агента из эксплуатации и контролируйте весь жизненный цикл — от создания до вывода из эксплуатации, поскольку риски возникают не при создании. Они накапливаются по мере расширения доступа и размытия ответственности.

Агенты делают предположения. Такова их природа, и она не изменится. Что вы можете изменить, так это радиус поражения в случае неверного предположения. Это делается на уровне идентификации, привязанной к намерению, и применяется до совершения действия, а не объясняется после.

Ваши агенты будут продолжать импровизировать. Вопрос в том, делают ли они это в установленных вами границах или в границах, которые вы не обозначили.

Редактор: Анастасия Богатырчук