Зачем нужен Human-in-the-loop в ИИ?
Принцип Human-in-the-loop (HITL), или «человек в контуре», особенно важен при работе с AI-агентами. В отличие от обычного чат-бота, агент может не только предложить решение, но и самостоятельно выполнить действия: изменить файлы, вызвать внешние инструменты или отправить запрос к сервису.
Языковая модель способна неверно интерпретировать инструкции, не учесть ограничения проекта или выбрать действие с нежелательными последствиями. HITL позволяет проверять решения системы до того, как они приведут к существенным изменениям. При этом участие человека не обязательно на каждом этапе: рутинные операции можно оставить агенту.
Как работает Human-in-the-loop при использовании AI-агентов?
В агентных системах участие пользователя можно предусмотреть перед выполнением определённых операций. Когда агент доходит до такого этапа, выполнение задачи приостанавливается, а человек получает информацию о предложенном действии и выбирает, что делать дальше.
Например, разработчик поручает AI-агенту обновить механизм авторизации в приложении:
- Агент изучает кодовую базу и определяет, какие файлы нужно изменить.
- Готовит патч и показывает разработчику предлагаемые изменения.
- Разработчик проверяет патч, подтверждает его применение, отклоняет изменения или уточняет задачу.
- После согласования агент продолжает работу и запускает предусмотренные проверки.
Запрос подтверждения может возникнуть и перед выполнением команды в терминале. В этом случае пользователь оценивает, зачем она нужна и какие последствия может иметь её запуск.
В Kodik настройки доступных инструментов описаны в документации по управлению инструментами и разрешениями AI-агента.
Где применяется Human-in-the-loop?
Участие человека в работе ИИ может понадобиться при:
- проверке сгенерированного программного кода;
- создании, изменении или удалении важных файлов;
- отправке данных во внешние сервисы;
- выполнении операций с производственными базами данных;
- разрешении неоднозначных задач, требующих уточнения требований.
Human-in-the-loop используется не только при работе с AI-агентами. Человек также может проверять ответы языковых моделей, размечать данные и оценивать результаты ИИ для последующего улучшения системы.
Чем HITL отличается от автономной работы ИИ?
При автономной работе агент самостоятельно принимает промежуточные решения в пределах поставленной задачи и выданных ему разрешений. В подходе Human-in-the-loop часть решений остаётся за человеком.
Эти режимы могут сочетаться в рамках одного процесса. Например, агенту разрешают самостоятельно читать файлы проекта и запускать локальные тесты, но требуют обязательного подтверждения перед удалением данных. В других случаях вмешательство пользователя необходимо только при возникновении неопределённости. Такой подход позволяет выбирать степень контроля в зависимости от возможных последствий операции.