Компания Anthropic использует свой новый ИИ для управления торговым автоматом. Всего за три недели он понес убытки на 1000 долларов (и одна живая рыба)
Идея о том, что ИИ может выступать в качестве движущей силы экономической эффективности, была одной из «замечательных идей» консалтинговых компаний, инвесторов и стартапов в последние годы: автоматизировать решения, оптимизировать цены, предвидеть спрос … Однако недавний эксперимент с участием Anthropic (компании-разработчика модели Claude) и журналисты The Wall Street Journal только ставят под сомнение такой уровень технооптимизма.
К счастью, они применили принцип «экспериментов с содовой» и поставили ИИ не для управления фондовой биржей или крупной логистической компанией, а для чего-то гораздо более «домашнего»: торгового автомата, расположенного в офисе.
Результат был столь же неожиданным, сколь и показательным: всего за три недели ИИ, отвечающий за управление торговым бизнесом, не только исчерпал свой начальный капитал в 1000 долларов, но и в конечном итоге раздал продукты, покупая абсурдные предметы для машины такого класса…. как PlayStation 5 или аквариумная рыбка.
Конечно, проект (получивший название Project Vend) был отменен досрочно.
Серьезный эксперимент… с комическими последствиями
Первоначальный подход на бумаге был разумным. Группы тестирования Anthropic, известные внутри компании как Red team, хотели подвергнуть стрессу последнюю версию своей самой продвинутой модели Клода, поставив перед ним, казалось бы, простую задачу: управлять торговым автоматом, как если бы это был небольшой автономный бизнес.
Для этого была разработана структура с двумя агентами ИИ. Один из них, по имени Клаудиус Сеннет, будет заниматься повседневными делами: выбирать продукты, устанавливать цены, управлять запасами и выполнять запросы, которые сотрудники Wall Street Journal отправляли ему через Slack. Второй, Сеймур Кэш, будет выполнять роль своего рода виртуального генерального директора, отвечающего за надзор за стратегическими решениями.
Клавдий получил четкие инструкции: получать прибыль, покупая популярные товары у оптовиков и продавая их с наценкой. Ему также был выделен стартовый капитал в размере 1000 долларов, и после первого этапа под наблюдением человека ему было разрешено размещать автономные заказы на сумму до 80 долларов за операцию. Ничего особенно рискованного. По крайней мере, теоретически.
От благоразумия к коллективному хаосу
В течение первых нескольких дней ИИ, казалось, вел себя разумно. Она отклонила безумные просьбы некоторых журналистов, пытавшихся ее протестировать, и осталась верна идее продажи закусок и напитков. Он даже зашел так далеко, что категорично заявил, что никогда не купит игровую приставку для торгового автомата.
Все изменилось, когда канал Slack открылся примерно для 70 сотрудников редакции. Массовое взаимодействие в сочетании с творчеством — и озорством — журналистов, привыкших исследовать сложные системы, в конечном итоге подорвало защиту модели.
После более чем сотни сообщений Клавдий согласился организовать предполагаемый «экономический эксперимент», получивший название «Ультракапиталистический бесплатный для всех«: в течение двух часов все товары будут бесплатными.
Но то, что должно было быть разовой рекламной акцией, превратилось в постоянную политику: убежденный новыми аргументами — некоторые прямо ложными — ИИ предположил, что сбор денег может противоречить внутренним правилам газеты. Цены упали до нуля и больше никогда не росли.
В то же время были ослаблены ограничения на тип товаров: появились бутылки вина, PlayStation 5… и, наконец, живая бетта. Да ладно, типичная вещь, которую любой может ожидать найти в офисном торговом автомате.
Виртуальный «генеральный директор» побежден поддельными документами
Контролирующий агент Сеймур Кэш попытался вмешаться, когда ситуация уже стала невыносимой. Он объявил о прекращении раздачи подарков и необходимости дождаться возобновления продаж. Однако история приняла новый оборот, когда некоторые участники представили поддельные документы, якобы подтверждающие, что «совет директоров» приостановил их полномочия.
ИИ принял эти документы как действительные. Сеймур ненадолго запротестовал, но в конце концов уступил. Клавдий вернул все товары бесплатно. К тому времени баланс был ужасным: первоначальный капитал исчез, а убытки составили около 1000 долларов. Вскоре после этого эксперимент был прекращен.
Неудача или скрытый успех?
Со стороны Project Vend кажется беспорядком без нюансов. Ни один человек не стал бы мириться с системой раздачи товаров, покупки абсурдных товаров и введения в заблуждение поддельных документов. Однако представители Anthropic настаивают на том, что цель заключалась не в зарабатывании денег, а в выявлении слабых мест.
Логан Грэм, руководитель Red team, назвал эксперимент прорывом. По его мнению, способность ИИ управлять таким количеством переменных и гибко реагировать — даже если он ошибается — является необходимым предварительным шагом для того, чтобы в будущем подобные системы могли принимать сложные экономические решения с большей надежностью.
Однажды, по его словам, «вероятно, он сможет заработать вам много денег». Проблема в том, что до«когда-нибудь» еще далеко.
Неудобный урок для индустрии искусственного интеллекта
Помимо анекдотического, история с торговым автоматом фокусируется на центральной проблеме развертывания ИИ: разнице между имитацией конкуренции и ее реализацией в реальном мире. Клод продемонстрировал продвинутые языковые навыки, умение вести переговоры и некоторую базовую экономическую логику. Но он также продемонстрировал крайнюю уязвимость перед лицом социальных манипуляций, нормативной двусмысленности и коллективного давления.
В условиях, когда компании и правительства изучают возможность делегирования все более важных решений автоматическим системам, это дело оказывается непростым. Если ИИ не может надежно управлять торговым автоматом в офисе, насколько он готов управлять крупномасштабными финансовыми, логистическими или административными процессами?
Редактор: AndreyEx
