Почему агенту нельзя верить на слово

Урок 11.5 · Программирование с нуля · Модуль 11. Как устроен ИИ-агент · По подписке

Цель урока: Научиться проверять результат агента и не отдавать ему необратимые действия.

Нужно знать заранее: Урок 11.1.

Объяснение

Зачем это нужно: Агент уверенно пишет «готово» даже тогда, когда ничего не получилось. Это не злой умысел: он просто не знает, что результат неверный. Цена ошибки бывает высокой — удалённые данные, отправленное не тому человеку письмо, списанные деньги. Поэтому проверка — не недоверие к технике, а часть работы.

Как это работает: Проверка результата — отдельный шаг, и он остаётся за человеком или за программой, которую написал человек.

Что проверять: - результат не пустой; - он относится к тому запросу; - данные свежие; - действие можно отменить.

Что не отдавать агенту без подтверждения: - удаление; - оплату; - отправку писем и сообщений; - изменение прав доступа.

Такие действия сначала показывают человеку как черновик: «Будут удалены 12 заказов за март. Показать список?» Человек проверяет список и только потом подтверждает.

Факт против отчёта. Отчёт агента — это текст, а не факт. Факт — это запись в базе, письмо в папке «Отправленные», номер заказа в системе. Проверяйте факт, а не формулировку.

Уроки модуля 11

• 11.1 Чем агент отличается от чата (бесплатно)
• 11.2 Инструмент — это обычная функция (по подписке)
• 11.3 Диспетчер: как агент выбирает инструмент (по подписке)
• 11.4 Цикл агента: подумал → вызвал → проверил (по подписке)
• 11.5 Почему агенту нельзя верить на слово — вы здесь (по подписке)
• 11.6 Свой мини-агент: задача целиком (по подписке)
• 11.7 Память агента: как он помнит, что уже сделал (по подписке)
• 11.8 План и шаги: как агент разбивает задачу (по подписке)
• 11.9 Чужие команды: почему агенту нельзя доверять текст (по подписке)
• 11.10 Тест: что вы знаете об агентах (по подписке)