휴먼 인 더 루프 (Human-in-the-Loop)

휴먼 인 더 루프(Human-in-the-Loop, HITL) 는 AI가 수행하는 업무 흐름 안에 사람의 판단을 구조적으로 끼워 넣는 설계를 말합니다. AI 데이터 인프라 기업들이 모델 성능만큼이나 데이터화·평가와 함께 이 개념을 핵심 축으로 다루는 이유는, 모델을 아무리 키워도 현실의 정답을 모델 내부에서 확인할 방법이 없기 때문입니다.

재정의 — 사람이 '본다'는 것만으로는 HITL이 아니다

현장에서 HITL을 적용했다고 말하는 조직 대부분은 이런 구조를 갖고 있습니다. AI가 초안을 만들고, 담당자가 읽고, 승인 버튼을 누릅니다. 절차상으로는 사람이 루프 안에 있습니다.

그런데 이 구조에는 결정적인 게 빠져 있습니다. 어떤 조건이면 반려하는지가 정해져 있지 않다는 점입니다.

반려 기준 없는 승인은 통제가 아니라 책임 이전 입니다.

기준이 없으면 담당자는 결과물이 틀렸는지를 판단하는 게 아니라 "이상해 보이는지"를 판단하게 됩니다. 그리고 AI가 만든 결과물은 대체로 이상해 보이지 않습니다. 앞뒤가 맞고 형식이 정돈되어 있기 때문입니다. 사고가 났을 때 남는 것은 승인 기록뿐이고, 그 기록은 사람이 확인했다는 사실만 증명할 뿐 무엇을 확인했는지는 증명하지 못합니다.

그래서 HITL이 성립하려면 두 가지가 함께 있어야 합니다.

1. 되돌릴 권한 — 사람이 실제로 반려하고 흐름을 멈출 수 있는가
2. 되돌릴 근거 — 어떤 조건에서 반려하는지가 사전에 문장으로 적혀 있는가

두 번째가 없으면 첫 번째는 행사되지 않습니다. 기준 없이 반려하는 것은 담당자 개인에게 부담이 되기 때문에, 사람은 대개 통과시키는 쪽을 선택합니다.

왜 검토자는 AI에 동화되는가

HITL 설계에서 가장 과소평가되는 위험은 검토자 본인이 오염된다는 사실입니다. 이 문제는 두 가지 서로 다른 경로로 발생합니다.

① 같은 맥락에서 검토하면 사실 검증이 아니라 일관성 검사가 된다

AI에게 "검토해줘"라고 하면 대개 이런 일이 벌어집니다. 앞 단계에서 "고객 예산은 10억 원"이라는 잘못된 전제가 들어갔다면, 검토 단계는 원본 문서를 다시 확인하지 않고 그 전제 위에서 앞뒤가 맞는지만 봅니다. 결과는 "10억 원 기준으로 구성이 적절하다"입니다.

이건 사실 검증이 아니라 자기 일관성 검증 입니다. 그리고 사람도 같은 함정에 빠집니다. AI가 만든 초안을 읽으면서 검토하면, 초안이 세운 프레임 안에서 문장이 자연스러운지를 보게 됩니다. 원본으로 돌아가 숫자를 다시 확인하는 사람은 드뭅니다.

이 문제를 구조로 푸는 방법이 깨끗한 맥락에서 결과물만 받아 기준과 대조하는 검토자 를 따로 두는 것입니다. 사람이든 서브에이전트든 원리는 같습니다.

② 늦게 배치할수록 사람은 결론을 뒤집기 어려워진다

사람을 마지막 승인 자리에만 두면, 사람이 마주하는 것은 이미 완성된 결론입니다. 완성된 결론을 뒤집는 데는 훨씬 큰 확신이 필요합니다. 반대로 기준을 정하는 앞자리 에 사람이 있으면, 그 기준은 결론이 만들어지는 과정 내내 작동합니다.

그래서 HITL의 사람은 한 자리가 아니라 두 자리에 있어야 합니다.

[사람] 통과 조건 정의  →  AI 수행  →  기준 대조  →  [사람] 기준 미달 처리·최종 책임
   ↑ 앞자리: 무엇을 통과로 볼지                      ↑ 뒷자리: 되돌릴 권한

앞자리 없이 뒷자리만 있으면 사람은 검토자가 아니라 결재자가 됩니다.

사람을 어디에 둘 것인가 — 3가지 배치 모델

모든 업무에 같은 강도로 사람을 넣으면 조직이 버티지 못합니다. 업무 성격에 따라 배치를 다르게 가져가야 합니다.

핵심은 되돌릴 수 있는가와 밖으로 나가는가 두 축입니다. 되돌릴 수 없고 밖으로 나가면 전건 검토, 되돌릴 수 있고 안에 머물면 사후 감사. 대부분의 실무 업무는 그 사이의 예외 검토에 놓입니다.

여기서 자주 나오는 반론이 "그래도 전부 보는 게 안전하지 않냐"인데, 실무 관찰은 반대입니다. 검토량이 처리 가능한 수준을 넘으면 사람은 읽지 않고 통과시키기 시작합니다. 100% 검토를 선언한 조직이 실질적으로 0% 검토 상태가 되는 것이 가장 흔한 실패입니다. 이 점에서 HITL은 가드레일의 피로 문제와 정확히 같은 함정을 공유합니다.

AI 역할과 사람 역할을 가르는 실무 기준

업무를 쪼개면 한 업무 안에 AI가 맡을 조각과 사람이 맡아야 할 조각이 함께 들어 있습니다. 맡·당·쪼의 '쪼'가 하는 일이 바로 이 분리입니다.

가르는 기준은 난이도가 아니라 되돌릴 수 있는가와 책임이 누구에게 있는가 입니다. 어려운 일이라서 사람이 하는 게 아니라, 틀렸을 때 책임질 사람이 필요해서 사람이 합니다.

한 가지 더 실무에서 중요한 원칙이 있습니다. AI에게 결론을 내지 말라고 명시하는 것 입니다. 예를 들어 품의서 사전 검토라면 AI는 누락 항목과 보완 질문까지만 내놓고 승인 가능 여부는 판단하지 않습니다. 이 한 줄이 빠지면 AI는 자연스럽게 "승인해도 될 것 같습니다"까지 써버리고, 사람은 그 문장을 읽은 상태로 판단하게 됩니다.

HITL이 제대로 걸렸는지 확인하는 체크리스트

• 반려 조건 이 문장으로 적혀 있다 ("이럴 때는 통과시키지 않는다")
• 검토자가 원본 을 볼 수 있다 (AI 결과물만 보고 판단하지 않는다)
• 사람이 개입하는 자리가 결과물 뒤에만 있지 않다 (기준 정의 자리에도 있다)
• 검토량이 담당자가 실제로 읽을 수 있는 분량 이다
• AI 산출물에 "이건 판단하지 않는다" 는 영역이 명시되어 있다
• 반려가 실제로 발생한 기록 이 있다 (전부 승인만 있다면 점검이 필요하다)

마지막 항목이 가장 실용적인 진단입니다. 도입 후 반려가 한 번도 없었다면 AI가 완벽한 게 아니라 검토가 작동하지 않는 것일 가능성이 높습니다.

사람의 자리는 줄어드는 게 아니라 옮겨간다

HITL을 "AI를 못 믿어서 사람이 지키고 서 있는 것"으로 이해하면 조직에서 오래가지 못합니다. 검토는 비용이고, 비용은 언젠가 잘려나갑니다.

실제 방향은 다릅니다. AX는 사람을 빼는 게 아니라 사람이 더 중요한 판단에 집중하도록 구조를 바꾸는 것 이고, HITL은 그 배치를 명시하는 설계도입니다. 읽기·분류·요약·초안에서 사람이 빠지는 만큼, 사람은 기준을 정하는 자리와 되돌리는 자리로 이동합니다. 이 이동이 설계되지 않으면 사람은 빠지지도 못하고 옮겨가지도 못한 채 승인 버튼만 누르는 자리에 남습니다.