Точка одобрения в ИИ-агенте задаётся не оценкой уверенности модели. Её задают всего две переменные: насколько действие обратимо и какой ущерб оно наносит, если оказалось неверным. Необратимое действие с реальным ущербом — письмо клиенту, возврат средств, удаление записи — требует одобрения до выполнения. Дёшево обратимое действие не нуждается в одобрении вовсе, достаточно выборочной проверки. Типичный провал — не нехватка одобрений, а наоборот: их слишком много, и за несколько недель они превращаются в формальный штамп, теряя всю ценность, ради которой создавались.
Три ошибки, которые повторяются почти в каждом внедрении
Первая: одобрение на всё. Организация, нервничающая из-за агента, ставит человека перед каждым действием. В итоге агент не экономит времени и добавляет ещё один шаг, а согласующий — видящий десятки почти одинаковых запросов в день — перестаёт читать. Одобрение остаётся на схеме процесса, но больше ничего не фильтрует.
Вторая: одобрение, привязанное к оценке уверенности модели. Оценка уверенности измеряет, насколько правдоподобным результат кажется самой модели, а не насколько он верен и не во что обойдётся ошибка. Агент может быть предельно уверен в адресе электронной почты, который он выдумал. Переменная, не коррелирующая с ущербом, не может быть спусковым крючком решения об ущербе.
Третья: одобрение без полномочий. Согласующий, у которого нет права отказать или для которого отказ означает лишнюю работу, одобрит. Точка одобрения без реальных организационных полномочий за ней — это документация, а не контроль.
Уравнение, которое решает, где стоит точка одобрения
Две переменные, четыре ячейки. В этом вся теория, и все остальные решения выводятся из неё.
| Обратимость действия | Низкий ущерб при ошибке | Высокий ущерб при ошибке |
|---|---|---|
| Обратимо мгновенно (черновик, внутренняя метка, резюме) | Без одобрения, еженедельная выборка | Ежедневная выборка + полный журнал |
| Обратимо ценой затрат (обновление записи, смена статуса) | Одобрение постфактум с окном отмены | Одобрение до выполнения |
| Необратимо (письмо клиенту, возврат средств, удаление) | Одобрение до выполнения | Одобрение до выполнения + второй согласующий |
Обратите внимание, чего в таблице нет: уровня уверенности модели. Его можно использовать, чтобы решить, насколько пристально проверять внутри ячейки, но никогда — чтобы перенести действие из одной ячейки в другую. Классификацию самих действий следует выводить из разрешений агента, как разобрано в руководстве по разрешениям.
Четыре схемы одобрения и операционная разница между ними
| Схема | Как работает | Когда подходит |
|---|---|---|
| Блокирующее одобрение | Агент останавливается и ждёт человека перед выполнением | Необратимые действия с участием третьей стороны или денег |
| Окно отмены | Действие выполняется после короткой задержки, в течение которой его можно отменить | Дёшево обратимые действия большого объёма |
| Выборочная проверка | Выполняется всё; фиксированный процент проверяется постфактум | Внутренние действия в большом объёме |
| Эскалация по исключению | Агент действует сам и останавливается только при заранее заданных условиях | Зрелые процессы с накопленной историей измерений |
Окно отмены — самая недоиспользуемая схема и, как правило, самая правильная. Она сохраняет полную скорость на обычном пути и переносит стоимость контроля только на те случаи, где кто-то действительно заметил проблему. Для действий, отменяемых за считаные минуты, она даёт почти всю защиту блокирующего одобрения без его издержек.
Настоящая проблема: одобрение, ставшее формальным штампом
Искажение, разрушающее точки одобрения, известно в исследовательской литературе как склонность к автоматизации — тенденция принимать вывод системы без проверки, а иногда и отказываться от правильного человеческого суждения в пользу ошибочной рекомендации. Исследование в области вычислительной патологии показало, что показ неверной рекомендации повышал долю ошибок совершённого действия примерно на 66 % на задачах низкой сложности по сравнению с группой, не получавшей рекомендаций вовсе.
Нагрузка усугубляет искажение. В информационной безопасности, где механизмы оповещений и одобрений существуют десятилетиями, отраслевые отчёты 2026 года описывают около 3 000 оповещений в день в средней организации, из которых примерно 63 % вообще не обрабатываются, а около 46 % оказываются ложными срабатываниями. Это ровно тот путь, который создаёт ИИ-агент со слишком большим числом точек одобрения, только быстрее.
Проектный вывод идёт вразрез с интуицией: чтобы одобрение работало, его должно быть меньше, а не больше. Каждое добавленное одобрение обесценивает все остальные.
Что должно быть на экране одобрения
Согласующий, которому задают вопрос «да или нет» без контекста, скажет «да». Работающий экран одобрения показывает пять вещей, именно в таком порядке.
- Точное действие. Не общее описание, а окончательное значение: адрес, сумма, поле и новое значение рядом со старым.
- Источник. На какой записи, документе или переписке это основано, со ссылкой напрямую.
- Что было рассмотрено и отклонено. Альтернатива, которую агент взвесил и не выбрал. Именно эта деталь превращает автоматическое одобрение в настоящую проверку.
- Цена ошибки. Обратимо ли действие, и если да, то в какой срок и какой ценой.
- Отказ в один клик с указанием причины. Причина сохраняется и попадает в набор тестов; иначе та же ошибка вернётся.
Пятый пункт — это разница между контролем и бумажной работой. Отказ, который никогда не возвращается в систему, — это работа, повторяемая снова и снова над одной и той же ошибкой. Как заводить отказы в набор тестов, разобрано в руководстве по оценке агентов.
Кнопка остановки — не удобство, а требование
Европейский регламент об ИИ определяет человеческий надзор в статье 14 как структурное требование для систем высокого риска. Текст требует, чтобы человек мог решить не использовать систему, проигнорировать, переопределить или обратить её вывод и прервать работу системы механизмом остановки, приводящим её в безопасное состояние.
Отсюда следуют три практических вывода, в том числе для организаций вне периметра высокого риска. Во-первых, механизм остановки должен быть реализован, а не только описан в документе. Во-вторых, кто-то должен уметь запустить его, ни с кем не согласовывая. В-третьих, запуск должен быть организационно приемлемым — остановка, за которой следует внутреннее расследование, не будет применена вовремя.
Простая проверка: попросите случайного человека из команды остановить агента прямо сейчас. Если он не знает как или спрашивает, кого надо предупредить первым, кнопки остановки у вас нет.
Как понять, что точка одобрения стоит в правильном месте
Точка одобрения — это проектное решение, которое нужно измерять, а не принимать на веру. Достаточно трёх метрик.
| Метрика | О чём говорит | Здоровый диапазон |
|---|---|---|
| Доля исправлений | Как часто человек менял то, что предложил агент | Ни ноль, ни большинство случаев |
| Среднее время решения | Сколько времени согласующий на самом деле потратил | Достаточно, чтобы прочитать действие и источник |
| Доля эскалаций | Как часто агент останавливался по собственной инициативе | Стабильна во времени |
Доля исправлений, стремящаяся к нулю, означает одно из двух: либо агент готов к тому, чтобы одобрение сняли, либо одобрение больше не читают. Различить их можно только слепой выборкой — возьмите пятьдесят одобренных действий и разберите их с нуля. Если разбор находит ошибки, которые были одобрены, проблема не в агенте.
Рекомендуемый путь внедрения
- Первые две недели: агент только предлагает, выполняет человек. Вы собираете реальную долю исправлений.
- Как только доля исправлений опускается ниже заранее заданной планки — переходите к выполнению с окном отмены, только на обратимых действиях.
- Необратимые действия остаются под блокирующим одобрением, пока не накопится хотя бы месяц истории измерений.
- Любое изменение промпта, инструментов или версии модели откатывает агента на одну ступень назад, пока набор тестов не будет прогнан заново.
Структурный контекст — что на самом деле работает внутри агента и где находится точка одобрения относительно цикла принятия решений — разобран в статье Анатомия делового ИИ-агента.
Часто задаваемые вопросы
Где должна находиться точка человеческого одобрения в ИИ-агенте?
Её определяют две переменные: насколько действие обратимо и какой ущерб оно наносит при ошибке. Необратимые действия с реальным ущербом требуют одобрения до выполнения; дёшево обратимые действия достаточно закрыть окном отмены или выборочной проверкой постфактум. Оценка уверенности модели не является допустимой переменной для установки точки одобрения.
Почему одобрение каждого действия на самом деле вредит?
Потому что оно создаёт нагрузку, которая ведёт к автоматическому одобрению. Согласующий, видящий десятки почти одинаковых запросов в день, перестаёт их читать, и каждое добавленное одобрение обесценивает остальные. Меньшее число точек одобрения, сосредоточенных на необратимых действиях, фильтрует больше.
Чем блокирующее одобрение отличается от окна отмены?
Блокирующее одобрение останавливает агента до решения человека, что подходит для необратимых действий. Окно отмены выполняет действие после короткой задержки, в течение которой его можно отменить, сохраняя полную скорость и подходя для обратимых действий большого объёма.
Как узнать, что точка одобрения стоит правильно?
По доле исправлений. Если почти никто ничего не правит, одобрение стало формальным штампом или не нужно вовсе. Если исправляется значительная часть действий, агент ещё не готов к той самостоятельности, которую ему дали. Среднее время решения — ещё один сигнал: решение, принятое за несколько секунд, проверкой не является.
Есть ли законодательное требование человеческого надзора?
Европейский регламент об ИИ в статье 14 требует, чтобы системы высокого риска допускали эффективный человеческий надзор, включая возможность проигнорировать или обратить вывод и остановить систему в безопасном состоянии. Даже вне этого периметра это разумный проектный ориентир для любого агента, работающего с клиентами или деньгами.
Читайте дальше
ИИ-агенты на собственной инфраструктуре: когда это оправдано – Инфраструктурный слой, который делает точку одобрения по-настоящему обязательной, а не рекомендательной.