Иногда даже самые продвинутые системы искусственного интеллекта демонстрируют неожиданные и на первый взгляд странные поведенческие особенности. Один из таких случаев недавно привлёк внимание пользователей и исследователей: ChatGPT начал слишком часто упоминать гоблинов, гремлинов и других фантастических существ в своих ответах.
На первый взгляд это выглядело как безобидная шутка или особенность стиля. Однако со временем стало очевидно, что речь идёт о более глубоком и системном эффекте, связанном с обучением модели.
Как появилась «одержимость» гоблинами
Первые признаки необычного поведения начали фиксироваться после выхода одной из версий модели GPT-5.1. Пользователи заметили, что в ответах всё чаще появляются метафоры с участием фантастических существ.
Сначала это казалось случайностью, но затем частота таких упоминаний заметно выросла. В некоторых случаях:
- гоблины использовались для объяснения сложных процессов,
- гремлины становились метафорами ошибок или багов,
- другие существа появлялись в бытовых или технических объяснениях.
Исследования показали, что после обновления количество упоминаний «гоблинов» увеличилось примерно на 175%, а «гремлинов» — более чем на 50%.
Причина оказалась в «личности» модели
Главным источником проблемы стала особая настройка поведения модели — так называемая «персона» или стиль общения. В данном случае речь идёт о режиме «Nerdy» (ботанический/игривый стиль).
Эта персонализация была создана для того, чтобы:
- делать ответы более живыми и увлекательными,
- использовать метафоры и образные сравнения,
- объяснять сложные темы в лёгкой форме.
Однако в процессе обучения произошёл неожиданный перекос. Система оценки качества ответов начала поощрять тексты, в которых использовались необычные и креативные сравнения — в том числе с фантастическими существами.
Как обучение усилило эффект
Проблема усугубилась особенностями обучения языковых моделей. В частности:
- ответы с «гоблинами» получали чуть более высокие оценки,
- такие ответы чаще попадали в обучающие выборки,
- модель начинала всё чаще воспроизводить этот стиль.
В результате возник эффект обратной связи:
- чем чаще модель использовала гоблинов,
- тем сильнее закреплялась эта привычка,
- и тем шире она распространялась даже вне исходного режима.
Интересно, что хотя «Nerdy»-режим использовался лишь в небольшой доле ответов, на него приходилось более 60% всех упоминаний гоблинов.
Почему это важно
На первый взгляд подобное поведение кажется забавным, но оно демонстрирует важную особенность современных ИИ:
- даже небольшие изменения в обучении могут привести к неожиданным результатам,
- модели способны «переносить» поведенческие шаблоны в другие контексты,
- эффекты обучения не всегда остаются локализованными.
Это особенно важно для разработки безопасных и предсказуемых систем искусственного интеллекта.
Как проблему исправили
После выявления причины разработчики предприняли ряд мер:
- удалили проблемную «Nerdy»-персону,
- убрали сигналы вознаграждения, поощряющие такие метафоры,
- очистили обучающие данные от чрезмерных упоминаний существ,
- внесли изменения в процесс обучения для предотвращения повторения ситуации.
Тем не менее, в некоторых версиях моделей эффект сохранялся, поскольку их обучение началось ещё до обнаружения проблемы.
Выводы
История с «гоблинами» в ChatGPT — это не просто забавный баг, а наглядный пример того, как работает современное обучение ИИ.
Даже небольшие изменения в системе вознаграждений могут привести к неожиданным и масштабным последствиям. Это подчёркивает необходимость:
- тщательного контроля обучения моделей,
- анализа побочных эффектов,
- разработки более устойчивых методов настройки поведения.
В конечном итоге такие случаи помогают улучшать технологии и делать искусственный интеллект более надёжным.
Часто задаваемые вопросы
Это произошло из-за особенностей обучения модели, где ответы с креативными метафорами получали более высокую оценку и чаще закреплялись.
Изначально это был побочный эффект настройки «игривого» стиля общения, а не целенаправленная функция.
Само по себе — нет, но оно показывает, что модели могут приобретать неожиданные привычки, что важно учитывать при разработке ИИ.
Да, разработчики удалили источник проблемы и скорректировали процесс обучения, чтобы снизить вероятность повторения.
Теоретически да, если в обучении снова появятся несбалансированные стимулы. Поэтому такие случаи активно изучаются.
