Практика внедрения · 8 минут на чтение

Человек в контуре ИИ: какие решения нельзя отдавать модели

Человеческий контроль нужен не после ошибки, а внутри самого процесса. Чем серьёзнее последствия действия, тем раньше сотрудник должен увидеть контекст, проверить предложение ИИ и подтвердить следующий шаг. Это не отменяет автоматизацию: система по-прежнему ищет данные, готовит ответ и выполняет рутину, но граница ответственности остаётся видимой.

Разделить подсказку, решение и действие

ИИ может работать на трёх уровнях. На первом он только подготавливает материал: находит документ, делает сводку или предлагает черновик. На втором рекомендует решение — например, категорию обращения или следующий шаг менеджера. На третьем сам меняет данные, отправляет сообщение, создаёт сделку или запускает операцию. Ошибка на каждом следующем уровне обходится дороже, поэтому одинаковый контроль для всех сценариев не подходит.

Если команда не может однозначно описать последствия ошибки, оставьте действие за человеком. Сначала уточните процесс в техническом задании на ИИ-ассистента, а затем решайте, какую часть можно автоматизировать.

Выбрать уровень контроля по риску

Проверять вручную каждый ответ навсегда — дорого и медленно. Полностью отключать проверку после нескольких удачных тестов — рискованно. Практичнее использовать несколько режимов:

• Обязательное подтверждение. Для платежей, кадровых решений, юридически значимых сообщений, удаления данных и других действий с заметными последствиями.
• Проверка по условиям. Человек подключается, если модель не нашла источник, уверенность ниже установленного порога, запрос нестандартный или клиент выражает недовольство.
• Выборочная проверка. Часть обычных операций регулярно попадает в контрольную выборку, чтобы заметить ухудшение качества.
• Постконтроль. Низкорисковые обратимые действия проверяются по журналу и метрикам.

Роли и ответственность нужно записать. NIST AI RMF рекомендует определять процедуры человеческого надзора и различать обязанности участников человеко-машинного процесса. Это полезный ориентир, а не готовый регламент для конкретной компании: пороги и права всё равно задаются с учётом вашего процесса и требований отрасли.

Сделать проверку удобной для сотрудника

Формальная кнопка «Подтвердить» не создаёт контроль, если сотрудник не видит, что именно проверять. Карточка решения должна показывать исходный запрос, найденные источники, предлагаемое действие и возможные последствия. Для сложного случая добавьте понятный маршрут: исправить, отклонить или передать профильному специалисту.

Хороший интерфейс сокращает соблазн подтверждать всё автоматически. В нём нет лишних полей, критические данные выделены, а подтверждение необратимого действия требует отдельного шага. Права ИИ и сотрудника должны соответствовать принципу минимально необходимого доступа; подробнее это разобрано в чек-листе безопасности данных.

Измерять не только ошибки ИИ, но и качество контроля

Собирайте долю подтверждений, исправлений и эскалаций, время проверки, типы ошибок и случаи, когда сотрудник отменил действие. Если почти все решения подтверждаются за секунду, это может означать высокое качество системы, но может указывать и на механическое согласие. Проверяйте выборку независимо и сопоставляйте её с метриками качества ИИ-ассистента.

Каждое обновление модели, промпта, базы знаний или интеграции способно изменить поведение системы. Поэтому контроль пересматривают после существенных изменений, а не только по календарю.

Чек-лист схемы «человек в контуре»

1. Для каждого шага описано, что предлагает или делает ИИ.
2. Названы последствия ошибочного решения и возможность его отмены.
3. Указано, кто подтверждает действие и чем руководствуется.
4. Сотрудник видит исходные данные и использованные источники.
5. Есть маршруты исправления, отказа и эскалации.
6. Решения и изменения сохраняются в журнале.
7. Заданы метрики, пороги остановки и дата повторной проверки.

Человеческий контроль работает, когда является частью архитектуры процесса, а не последним предупреждением в интерфейсе. Тогда автоматизация ускоряет подготовку и типовые действия, а ответственный сотрудник сохраняет реальную возможность понять, изменить и остановить решение.