Что нельзя доверять ИИ-агенту: 5 действий, которые лучше оставить человеку

Действие № 1. Переводить деньги и оплачивать покупки

ИИ-агент может собирать счета от поставщиков, сверять суммы с договорами и готовить платежные поручения. Но давать ему право самостоятельно распоряжаться деньгами компании опасно: даже одна незамеченная ошибка в реквизитах может обойтись в миллионы рублей.

Такой помощник может неверно распознать цифры, пропустить изменение реквизитов или принять поддельный документ за настоящий. Если перевод уже выполнен, вернуть деньги бывает сложно.

Что можно поручить ИИ-агенту:

• Собирать счета и проверять их комплектность.
• Сверять суммы, реквизиты и условия оплаты с договорами.
• Выделять подозрительные изменения и расхождения.
• Готовить платежные поручения для проверки бухгалтером.

А вот подтверждение перевода должно оставаться за уполномоченным сотрудником. Особенно если изменились реквизиты получателя: их следует дополнительно проверить через надежный канал связи с контрагентом. Так агент возьмет на себя подготовительную работу, но не сможет самостоятельно отправить деньги не тому получателю.

Действие № 2. Удалять файлы и документы

В рабочей папке могут годами храниться сотни документов с названиями «Договор_финал», «Договор_финал2» и «Договор_точно_последний». ИИ-агент с доступом к рабочим папкам может находить похожие файлы, сортировать документы и выделять возможные дубликаты. Но разрешать ему самостоятельно удалять документы не стоит.

Проблема в том, что похожие документы не всегда являются дубликатами. Они могут отличаться одной цифрой, датой, формулировкой или подписью. Кроме того, агент не знает, какие файлы потребуются компании для проверки, судебного спора или восстановления истории сделки.

Чтобы избежать потери важных данных, необходимо настроить для агента три ограничения:

• Только поиск и сортировка. ИИ может находить дубликаты, группировать документы и предлагать файлы для удаления, но не удалять их самостоятельно.
• Предварительное согласование. Перед очисткой он формирует список с названиями файлов, расположением и причиной, по которой считает их ненужными.
• Возможность восстановления. Подтвержденные к удалению файлы сначала перемещаются в отдельную папку или корзину с установленным сроком хранения. Для важных документов сохраняются резервные копии.

Так вы автоматизируете разбор даже большого архива, не рискуя потерять нужный договор или отчет из-за ошибочного решения агента.

Действие № 3. Передавать личные и конфиденциальные данные

Представьте, кадровик создал ИИ-агента для оформления новых сотрудников. Помощник заполняет документы, проверяет комплектность личных дел и готовит трудовые договоры. Для работы ему открыли полный доступ к персональным данным, включая копии паспортов, адреса, телефоны и сведения о зарплатах.

Для распознавания документов к агенту подключили внешний ИИ-сервис, не проверив, как он обрабатывает и хранит информацию. В результате копии паспортов и другие персональные данные работников передавались стороннему поставщику без необходимого согласования.

Чем это грозит компании? Если конфиденциальные сведения попадут в неразрешенный сервис, компания может нарушить требования к обработке персональных данных и потерять контроль над их дальнейшим использованием.

Есть и другая опасность: злоумышленники могут прятать вредоносные инструкции в письмах и документах, которые обрабатывает агент. Если он примет их за команду, то может попытаться передать посторонним информацию, к которой получил доступ. Такие атаки называют промпт-инъекциями.

Особенно осторожно нужно работать с тремя категориями информации:

Как защититься: предоставляйте ИИ-агенту только те сведения, которые действительно нужны для выполнения задачи. Например, для контроля сроков обучения сотрудников ему достаточно фамилий, дат и информации о пройденных курсах. Копии паспортов и зарплатные ведомости здесь не нужны.

Заранее определите, какие внешние сервисы разрешено подключать к агенту. Передачу конфиденциальных документов сторонним получателям настройте только после отдельного согласования, а действия с такими данными фиксируйте в журнале. Если персональная информация для выполнения задачи не требуется, вообще не предоставляйте к ней доступ.

Действие № 4. Публиковать информацию от вашего имени

ИИ-агент может самостоятельно искать темы для корпоративного блога, готовить посты, подбирать изображения и размещать публикации по расписанию. Для маркетолога это удобно, особенно когда нужно регулярно вести несколько площадок. Но одна ошибка в опубликованном материале способна создать компании серьезные проблемы.

Что может пойти не так при автоматической публикации:

• Недостоверные факты. ИИ может использовать старую новость, перепутать даты или сослаться на несуществующее исследование.
• Неудачные формулировки. Некорректные обещания, спорные утверждения или информация, противоречащая позиции компании.
• Разглашение внутренних данных. В публикацию случайно попадут сведения из рабочих документов, клиентской переписки или закрытых отчетов.

Поэтому разделяйте подготовку и размещение контента. Пусть ИИ-агент собирает материалы, пишет черновики, предлагает иллюстрации и заполняет контент-план. А перед публикацией редактор или другой ответственный сотрудник проверяет факты, источники и формулировки.

Для заранее согласованных материалов настройте автоматическую публикацию по расписанию. Но если ИИ-агент самостоятельно создает новый текст, особенно на юридическую, финансовую или медицинскую тему, отправляйте его на проверку человеку.

Действие № 5. Отправлять важные письма без проверки

ИИ-агент может самостоятельно разбирать входящую почту, готовить ответы и отправлять сообщения, если ему подключили почтовый сервис и предоставили право отправки. Но одна ошибка в переписке способна создать для компании серьезные финансовые и юридические риски.

Почему это опасно. Поставщик может использовать такое письмо в качестве доказательства в судебном споре. Компании придется объяснять, почему агент признал задолженность без согласования и отражало ли сообщение ее действительную позицию.

Какие письма нельзя отправлять без проверки:

• Финансовые: согласование сумм, скидок, задолженностей и условий оплаты.
• Юридически значимые: претензии, расторжение договоров, признание обязательств.
• Конфиденциальные: сообщения с персональными данными, внутренними отчетами и коммерческой тайной.

Как правильно: разрешите ИИ-агенту сортировать письма и готовить черновики. Типовые уведомления, например подтверждение получения заявки, можно отправлять автоматически по утвержденным шаблонам. А сообщения, которые могут повлиять на обязательства компании, должны проходить обязательное согласование ответственным сотрудником.

Как безопасно использовать ИИ-агентов

Чтобы работать с ИИ-агентом безопаснее, придерживайтесь трех правил:

• Правило 1. Ограничивайте доступ. Если агент должен проверять договоры, ему достаточно разрешения на чтение документов. Доступ к их удалению, электронной подписи или банковским операциям для этой задачи не нужен.
• Правило 2. Настройте подтверждение важных действий. Агент может подготовить платеж, письмо клиенту или публикацию, но отправить их должен только после согласования с ответственным сотрудником.
• Правило 3. Проверяйте работу агента. Перед запуском протестируйте его на типовых и нестандартных ситуациях. Например, посмотрите, как он реагирует на счет с измененными реквизитами, неполный договор или письмо с неправильным адресом получателя. После запуска периодически проверяйте результаты и журнал действий.

Чем больше самостоятельности у ИИ-агента, тем важнее заранее определить границы его полномочий. Это позволит автоматизировать рутинные операции и снизить вероятность ошибок.

На курсе «ИИ-агенты. Базовый курс» вместе с преподавателем, Олегом Утековым, экспертом по нейросетям, реализовавшим более 25 крупных ИИ-проектов для бизнеса, вы научитесь собирать и настраивать таких помощников под свои задачи. Что вас ждет:

• 3 месяца онлайн-обучения с возможностью совмещать учебу с работой.
• Практика на реальных задачах: создадите ИИ-агентов для работы с документами, отчетами и напоминаниями.
• Навыки автоматизации: научитесь подключать рабочие файлы, настраивать самостоятельные действия агентов и проверять результаты.
• Поддержка кураторов и удостоверение о повышении квалификации с внесением в ФРДО.

Программа подойдет бухгалтерам, кадровикам, юристам и руководителям, которые уже пользуются нейросетями и хотят тратить меньше времени на рутинную работу.