Человек в контуре — не ручная перепроверка всего
Термин human in the loop часто понимают слишком буквально. Кажется, что после внедрения ИИ сотрудник должен открывать каждый результат, перечитывать его и заново выполнять половину работы.
Такая схема действительно превращает автоматизацию в дорогую подсказку. Если человек обязан проверять сто процентов операций с прежней тщательностью, процесс почти не ускоряется, а ответственность становится ещё менее понятной.
Роль сотрудника должна быть другой. Система самостоятельно обрабатывает типовые и безопасные случаи, а человеку передаёт исключения: неполные данные, противоречия, низкую уверенность, нестандартные условия или действия с высокой ценой ошибки.
В обработке перевозочных документов ИИ может распознать реквизиты, сопоставить накладную с заявкой и проверить комплектность. Если документы совпадают и обязательные поля заполнены, операция продолжается автоматически, а если расходятся сумма, маршрут или получатель, задача уходит специалисту вместе с найденными расхождениями.
Это и есть нормально спроектированный контроль ИИ человеком. Сотрудник не дублирует машину, а принимает решения там, где автоматическое действие становится рискованным.
Где передача человеку действительно необходима
Нельзя установить одно правило для всех корпоративных систем. Уровень контроля зависит от характера процесса, возможных последствий ошибки и того, можно ли быстро отменить выполненное действие. При этом есть несколько ситуаций, в которых передача человеку почти всегда оправдана.
Система не получила достаточно данных. Если в комплекте отсутствует документ, запись плохо распознана или источники противоречат друг другу, ИИ не должен заполнять пробелы догадками. Сотрудник должен увидеть, какой информации не хватает, и решить, где её получить.
Решение трудно или дорого отменить. Отправленный клиенту черновик сообщения можно исправить, а перечисленный платёж, отказ в услуге или поданный в суд документ — уже не всегда. Чем ниже обратимость действия, тем важнее подтверждение ответственного специалиста.
Результат затрагивает права, деньги или безопасность человека. ИИ может анализировать заявку, выявлять признаки риска и готовить рекомендации, но окончательное решение о выплате, медицинском назначении, увольнении или юридически значимом действии нельзя незаметно прятать внутри модели. У такого решения должен быть конкретный владелец, способный объяснить и пересмотреть его.
Случай выходит за известные системе границы. Новый тип договора, редкая формулировка обращения или необычная комбинация условий могут не встречаться в тестовой выборке. Вместо уверенного ответа система должна распознать исключение и остановиться.
Источники противоречат друг другу. Например, действующий регламент требует одного порядка, а шаблон в общей папке содержит старую редакцию. ИИ может обнаружить расхождение, но определять приоритет и утверждать новое правило должен владелец процесса.
Такой подход совпадает с рекомендациями NIST: роли людей при использовании и контроле ИИ должны быть заранее определены, а границы применения результатов — задокументированы. В AI Risk Management Framework отдельно указано, что организация должна описывать, как результаты системы контролируются человеком и кто отвечает за соответствующие решения.
Цена ошибки важнее процента точности
На презентации системы часто обсуждают единую точность модели. Для бизнеса эта цифра мало что объясняет, потому что разные ошибки имеют разную стоимость.
Если ассистент неверно определил тему внутреннего обращения, сотрудник потратит несколько минут на перенос задачи в другую очередь. Если та же система ошиблась в сумме договора или автоматически отправила клиенту юридически значимый отказ, последствия будут совсем другими.
Поэтому уровень человеческого контроля нужно связывать не только с качеством модели. Следует учитывать вероятность ошибки, размер возможного ущерба и обратимость выполненного действия.
Типовые операции с низкой ценой ошибки можно автоматизировать полностью и проверять выборочно. Случаи среднего риска можно передавать человеку при срабатывании определённых правил, а критичные решения должны требовать явного подтверждения даже при высокой уверенности системы.
Регуляторная практика развивается в том же направлении. Например, статья 14 европейского AI Act требует, чтобы высокорисковые системы могли эффективно контролироваться людьми и предоставляли им инструменты для вмешательства во время использования (EUR-Lex).
Но дело не только в требованиях законодательства. Если компания не может сказать, кто вправе остановить систему, отменить её действие и изменить правила, она ещё не управляет своим ИИ.
Передать задачу человеку недостаточно
Плохой сценарий выглядит так: система показывает сотруднику предупреждение «низкая уверенность» и предлагает принять решение. При этом человек не видит исходный документ, найденный фрагмент, применённое правило и причину сомнений модели.
В результате специалист либо повторяет всю работу сначала, либо автоматически нажимает «подтвердить». Формально human in the loop присутствует, но фактически контроль не работает.
Хорошая передача должна содержать достаточно контекста для быстрого решения. Сотруднику нужно показать исходные данные, результат ИИ, найденные противоречия, использованные источники и действие, которое система предлагает выполнить.
У человека также должна быть реальная возможность не согласиться с рекомендацией. Если интерфейс подталкивает только к подтверждению, а отмена спрятана или требует объяснений руководителю, со временем сотрудники начинают принимать выводы системы автоматически.
Microsoft рекомендует сохранять подтверждение человека для необратимых действий и операций, влияющих на людей, деньги или соблюдение требований. При этом специалист должен получать достаточный контекст, чтобы проверка добавляла профессиональное суждение, а не становилась очередным узким местом (Microsoft Learn).
Три примера распределения ролей
В контакт-центре ИИ может расшифровать разговор, определить тему обращения, найти нужный регламент и подготовить вариант ответа. Оператор проверяет предложение перед отправкой, а руководитель выборочно анализирует случаи, в которых сотрудники часто исправляют рекомендации системы.
В страховании ИИ может извлечь данные из заявления, проверить комплектность документов и подсветить возможные расхождения. Решение о выплате или отказе принимает специалист, которому система показывает не только рекомендацию, но и основания для неё.
В юридическом процессе ИИ может собрать данные по делу, подготовить проект документа и проверить обязательные реквизиты. Юрист оценивает правовую позицию, подтверждает финальную редакцию и отвечает за отправку документа.
Во всех трёх случаях человек остаётся в процессе, но не выполняет всю работу вручную. ИИ забирает чтение, поиск, первичную проверку и подготовку, а сотрудник сохраняет за собой профессиональное суждение и ответственность.
Что нужно фиксировать в системе
Одного интерфейса с кнопками «подтвердить» и «отклонить» недостаточно. Для управления корпоративным ИИ важно сохранять историю того, как система и сотрудники принимали решения.
В журнале должны оставаться входные данные, версия модели или сценария, использованные источники, сформированный результат и выполненное действие. Если задача передавалась человеку, нужно также фиксировать причину передачи, принятое решение и внесённые исправления.
Такая история помогает разбирать ошибки и улучшать правила. Если сотрудники регулярно исправляют одну и ту же категорию ответов, проблема может находиться в промпте, справочнике, поиске, исходных данных или самом процессе.
Полезно отслеживать не только количество ошибок модели, но и поведение сотрудников. Частота передачи человеку, время проверки, доля отменённых рекомендаций и причины исправлений показывают, действительно ли выбранная схема контроля работает.
Если почти все результаты подтверждаются без изменений, часть операций, возможно, можно автоматизировать сильнее. Если сотрудники отклоняют половину предложений или выполняют проверку заново, систему рано переводить в самостоятельный режим.
Как не превратить человека в узкое место
Чем больше операций передаётся сотрудникам, тем выше риск, что очередь проверки начнёт тормозить весь процесс. Поэтому человеческий контроль тоже нужно проектировать и измерять.
Сначала следует определить конкретные причины передачи: отсутствие данных, противоречие источников, превышение порога риска или действие определённого типа. Формулировки вроде «модель не уверена» недостаточно, потому что сотруднику всё равно придётся самостоятельно искать источник проблемы.
Затем необходимо ограничить объём проверки. Специалист должен видеть только те поля и фрагменты, которые требуют решения, а не перечитывать весь документ или разговор.
Наконец, нужно предусмотреть сроки и резервный маршрут. Если ответственный сотрудник недоступен, система должна знать, кому передать задачу дальше и что произойдёт с операцией до получения решения.
Хороший human in the loop сокращает ручную работу, а не маскирует её. Если после внедрения количество проверок выросло, значит, границы автоматизации или интерфейс передачи были выбраны неправильно.
Ответственность нельзя передать модели
ИИ может стать участником корпоративного процесса, но не его владельцем. Модель не утверждает регламенты, не определяет допустимый риск и не отвечает перед клиентом за последствия решения.
Поэтому при проектировании нужно заранее ответить на несколько вопросов: кто утверждает правила, кто разбирает исключения, кто следит за качеством и кто имеет право остановить систему. Эти роли могут принадлежать разным сотрудникам, но они не должны оставаться безымянными.
Цель состоит не в том, чтобы поставить человека после каждого ответа ИИ. Нужно построить процесс, в котором типовые безопасные действия выполняются быстро, а сложные и критичные решения попадают к специалисту вместе с достаточным контекстом.