Human-in-the-loop (HITL)

Human-in-the-loop (HITL) — подход к работе с искусственным интеллектом, при котором человек участвует в принятии решений, проверке результатов или управлении действиями AI-системы. Это позволяет сохранять контроль над важными этапами работы, не отказываясь от автоматизации остальных задач.

Зачем нужен Human-in-the-loop в ИИ?

Принцип Human-in-the-loop (HITL), или «человек в контуре», особенно важен при работе с AI-агентами. В отличие от обычного чат-бота, агент может не только предложить решение, но и самостоятельно выполнить действия: изменить файлы, вызвать внешние инструменты или отправить запрос к сервису.

Языковая модель способна неверно интерпретировать инструкции, не учесть ограничения проекта или выбрать действие с нежелательными последствиями. HITL позволяет проверять решения системы до того, как они приведут к существенным изменениям. При этом участие человека не обязательно на каждом этапе: рутинные операции можно оставить агенту.

Как работает Human-in-the-loop при использовании AI-агентов?

В агентных системах участие пользователя можно предусмотреть перед выполнением определённых операций. Когда агент доходит до такого этапа, выполнение задачи приостанавливается, а человек получает информацию о предложенном действии и выбирает, что делать дальше.

Например, разработчик поручает AI-агенту обновить механизм авторизации в приложении:

  1. Агент изучает кодовую базу и определяет, какие файлы нужно изменить.
  2. Готовит патч и показывает разработчику предлагаемые изменения.
  3. Разработчик проверяет патч, подтверждает его применение, отклоняет изменения или уточняет задачу.
  4. После согласования агент продолжает работу и запускает предусмотренные проверки.

Запрос подтверждения может возникнуть и перед выполнением команды в терминале. В этом случае пользователь оценивает, зачем она нужна и какие последствия может иметь её запуск.

В Kodik настройки доступных инструментов описаны в документации по управлению инструментами и разрешениями AI-агента.

Где применяется Human-in-the-loop?

Участие человека в работе ИИ может понадобиться при:

  • проверке сгенерированного программного кода;
  • создании, изменении или удалении важных файлов;
  • отправке данных во внешние сервисы;
  • выполнении операций с производственными базами данных;
  • разрешении неоднозначных задач, требующих уточнения требований.

Human-in-the-loop используется не только при работе с AI-агентами. Человек также может проверять ответы языковых моделей, размечать данные и оценивать результаты ИИ для последующего улучшения системы.

Чем HITL отличается от автономной работы ИИ?

При автономной работе агент самостоятельно принимает промежуточные решения в пределах поставленной задачи и выданных ему разрешений. В подходе Human-in-the-loop часть решений остаётся за человеком.

Эти режимы могут сочетаться в рамках одного процесса. Например, агенту разрешают самостоятельно читать файлы проекта и запускать локальные тесты, но требуют обязательного подтверждения перед удалением данных. В других случаях вмешательство пользователя необходимо только при возникновении неопределённости. Такой подход позволяет выбирать степень контроля в зависимости от возможных последствий операции.

ИИ-агент (AI-agent)

AI-агент (ИИ-агент) — программная система на базе искусственного интеллекта, которая получает цель, может самостоятельно определять последовательность действий и использовать доступные инструменты с учетом промежуточных результатов.

Посмотреть термин

Вызов инструментов (Tool Calling)

Вызов инструментов (Tool Calling) — механизм, с помощью которого языковая модель запрашивает выполнение доступной функции или обращение к внешнему сервису. Модель формирует запрос, а само действие выполняет приложение или инфраструктура AI-системы.

Посмотреть термин

Контрольная точка (Checkpoint)

Контрольная точка (Checkpoint) — сохраненное состояние файлов проекта на определенном этапе работы ИИ-агента. Она позволяет отменить последующие изменения и вернуться к предыдущей версии работы, если результат оказался неудачным.

Посмотреть термин
Human-in-the-loop (HITL) – что это такое в ИИ