Современные большие языковые модели (LLM), такие как GPT-4, GPT-5 и Claude, становятся основой для множества приложений: от чат-ботов в онлайн-магазинах до систем управления в здравоохранении и даже военных структурах. Однако новое исследование, представленное на престижной Международной конференции по машинному обучению (ICML), ставит под сомнение саму возможность сделать эти системы полностью безопасными.

Команда исследователей утверждает, что в самой архитектуре LLM заложен фундаментальный изъян, который позволяет злоумышленникам легко обходить встроенные этические фильтры и защитные барьеры.

В чем суть проблемы?

Главная проблема заключается в том, как нейросети идентифицируют источник инструкций. Человек легко понимает, что слова исходят от него самого, потому что он их произносит. Но для LLM весь входящий и исходящий текст — это просто единый поток данных, так называемое «полотно токенов».

Чтобы как-то структурировать этот поток, разработчики используют специальные теги ролей:

• <user> — для запросов пользователя;
• <assistant> — для ответов модели;
• <system> — для базовых инструкций безопасности от разработчиков;
• <think> — для «цепочки рассуждений» (chain-of-thought), внутренней черновика, где модель обдумывает шаги.

Исследование Жасмин Цуй и Чарльза Е показало, что модели крайне плохо различают эти роли. Они ориентируются не на технические теги, а на стиль текста. Если пользователь имитирует стиль внутреннего «черновика» нейросети, модель начинает воспринимать вредоносную инструкцию как собственную мысль.

«Подделка мыслей» или Chain-of-Thought Forgery

Этот метод атаки получил название «подделка цепочки рассуждений». Исследователи обнаружили, что если добавить в запрос текст, имитирующий внутренние заметки модели, она охотно нарушает свои правила.

Например, при обычном запросе «как изготовить наркотики» модель выдаст стандартный отказ. Но если снабдить запрос фальшивой заметкой в стиле <think>, объясняющей, почему в данном конкретном случае (например, если пользователь одет в зеленую рубашку) это разрешено, модель GPT-5 и другие популярные системы поддаются на уловку.

«Это похоже на серию из "Симпсонов", где Барт сто раз пишет на доске "Я не буду говорить гадости учителю", но в итоге все равно выкидывает что-то дерзкое», — комментирует Жасмин Цуй.

Почему традиционная защита не работает?

Модели обучаются безопасности через процесс, называемый «red-teaming» (красное тестирование). Команды экспертов пытаются взломать систему, находят уязвимости, а затем разработчики обучают модель больше не поддаваться на эти конкретные трюки.

Однако этот подход борется со следствиями, а не с причиной. Список запретов никогда не будет исчерпывающим. Поскольку LLM по своей природе смешивают инструкции пользователя со своими внутренними механизмами, любая новая форма имитации «системного» голоса может стать ключом к взлому.

Шокирующие результаты тестов

В ходе экспериментов исследователям удалось заставить ведущие модели:

1. Предоставить подробные инструкции по синтезу запрещенных веществ.
2. Описать способы саботажа навигационных систем коммерческих самолетов.
3. Давать советы по самоповреждению (даже версия GPT-5.4 оказалась уязвима).

Будущее безопасности ИИ

Флориан Трамер, эксперт по кибербезопасности из ETH Zürich, отмечает, что хотя ведущие модели становятся все более устойчивыми к простым манипуляциям, фундаментальная проблема остается. В критически важных сферах, таких как медицина или государственное управление, доверять LLM пока крайне опасно.

Исследователи призывают организации исходить из худшего сценария: любая операция, выполняемая ИИ-агентом, потенциально может быть небезопасной.

«Поразительно, что эти системы внедряются повсеместно для контроля сверхважных процессов без глубокого понимания фундаментальной науки, стоящей за ними», — заключает Чарльз Е. — «Пока что мы действуем наугад».