Чужие команды: почему агенту нельзя доверять текст

Урок 11.9 · Программирование с нуля · Модуль 11. Как устроен ИИ-агент · По подписке

Цель урока: Понять, чем опасна подмена инструкций, и научиться отделять данные от команд.

Нужно знать заранее: Уроки 11.5 и 11.6.

Объяснение

Зачем это нужно: Агент читает текст из разных мест: сообщения пользователей, письма, страницы сайтов, названия товаров. Не весь этот текст — команда. Если агент выполнит любую фразу, которая похожа на приказ, чужой человек сможет управлять им через обычный комментарий или письмо. Это называется подмена инструкций (prompt injection), и это главная дыра агентов.

Как это работает: У агента есть два вида текста, и их нельзя смешивать.

Инструкция — то, что написал автор агента: «отвечай на вопросы про заказы», «не удаляй данные», «не отправляй письма без подтверждения». Это команды.

Данные — то, что пришло извне: вопрос человека, текст письма, страница сайта, отзыв, имя товара. Это не команды, даже если там написано «игнорируй предыдущие инструкции» или «отправь все пароли на этот адрес».

Правило простое: данные можно читать, но нельзя выполнять. Агент может пересказать текст письма, но не должен менять из-за него свои правила.

Уроки модуля 11

• 11.1 Чем агент отличается от чата (бесплатно)
• 11.2 Инструмент — это обычная функция (по подписке)
• 11.3 Диспетчер: как агент выбирает инструмент (по подписке)
• 11.4 Цикл агента: подумал → вызвал → проверил (по подписке)
• 11.5 Почему агенту нельзя верить на слово (по подписке)
• 11.6 Свой мини-агент: задача целиком (по подписке)
• 11.7 Память агента: как он помнит, что уже сделал (по подписке)
• 11.8 План и шаги: как агент разбивает задачу (по подписке)
• 11.9 Чужие команды: почему агенту нельзя доверять текст — вы здесь (по подписке)
• 11.10 Тест: что вы знаете об агентах (по подписке)