Harness (하네스)

Harness(하네스)는 모델 자체가 가진 한계를 모델을 바꾸지 않고도 그 바깥에서 구조로 보완하는 장치입니다. 아는 정보도 놓치고 검증 없이 그럴듯한 결과를 내놓는 한계 말입니다. 원래는 마차를 끄는 말에 씌우는 마구(馬具)를 가리키는 말인데, 힘의 방향을 다루기 쉬운 형태로 잡아준다는 점에서 AI 업무에도 같은 이름이 붙었습니다. 명확한 기준, 검증 단계, 도구 연결, 역할 분리로 이루어진 하나의 틀, 그것이 Harness의 실체입니다.

Harness는 무엇인가

Harness는 하나의 기능이 아니라 여러 장치가 결합된 시스템입니다. AI Agent가 스스로 계획을 세우고 실행하는 동안, Harness는 그 바깥에서 목표·상태·원본 자료·검증 기준·승인 여부를 따로 붙들고 있습니다. Agent의 Context 안에 있는 한 줄의 문장이 아니라, Agent가 직접 손댈 수 없는 곳에 있는 별도의 저장소와 절차라는 점이 핵심입니다. 그래서 Agent가 중간에 조건을 놓치거나 스스로의 해석을 다시 근거로 삼는 오류를 일으켜도, Harness가 붙들고 있는 기준 자체는 흔들리지 않습니다.

왜 지금 Harness가 필요한가

모델의 한계는 성능이 낮아서 생기는 문제가 아닙니다. Agent는 매 순간 Context 전체에서 지금 필요한 정보를 다시 골라 쓰는데, 이 과정에서 일부 조건은 상대적으로 밀려날 수 있습니다. 대화가 길어져 내용이 압축되면 "고객 승인 전에는 절대 배포하지 않는다" 같은 강제 규칙조차 강도가 약해지기도 합니다. 이런 구조적 특성은 모델이 발전한다고 해서 사라지지 않습니다. 그래서 실무에서 택할 수 있는 현실적인 방향은 하나입니다. 더 똑똑한 모델을 기다리는 대신, 지금 쓰는 모델을 신뢰할 수 있는 결과로 바꿔주는 구조를 모델 밖에 만드는 겁니다. 이것이 Harness가 하는 일입니다.

모델만 믿을 때 vs Harness로 감쌀 때

같은 Agent를 쓰더라도, 무엇을 신뢰의 근거로 삼는지에 따라 결과가 달라집니다.

왼쪽 열은 Agent의 선의에 기대는 방식이고 오른쪽 열은 그 선의를 구조로 강제하는 방식입니다. 결과물의 품질이 아니라 "품질을 무엇이 보장하는가"가 다릅니다.

Harness를 이루는 네 가지 구성요소

• 명확한 기준 — 통과·실패를 가르는 조건이 사람의 기억이나 프롬프트 속 문장이 아니라 모델 밖 문서로 존재합니다.
• 검증 Loop — 결과를 만드는 단계와 확인하는 단계를 분리하고 기준을 통과할 때까지 반복하되 무한 반복을 막을 최대 횟수를 둡니다.
• 도구 연결 — 계산·조회·정책 검사를 모델의 "판단"이 아니라 외부 도구의 "확인"으로 대체해 사실 여부를 원본 자료와 직접 대조합니다.
• 역할 분리 — 만드는 주체와 확인하는 주체를 다르게 둬 같은 Context를 공유하는 데서 오는 관대한 자기 검토를 막습니다.

실무에서는 이렇게 작동한다

가장 흔한 형태는 초안 Agent와 검증 절차를 Harness로 잇는 것입니다. 예를 들어 고객 제안서를 쓴다면, 초안 작성 Agent가 내용을 채우는 동안 Harness는 계약 조건·예산·일정 같은 원본 데이터를 별도로 붙들고 있습니다. 초안이 나오면 검증 단계는 원본 데이터와 숫자·조건을 하나씩 대조하고 정책 체크리스트(가격 정책 위반 여부, 필수 고지 문구 포함 여부 등)를 검사합니다. 기준에 못 미치면 어떤 항목이 왜 부족한지와 함께 반려되고 통과했을 때만 다음 단계로 넘어갑니다. 이 구조에서는 Agent가 얼마나 설득력 있게 썼는지가 아니라, 원본과 대조했을 때 맞는지가 기준이 됩니다.

조직이 AI 결과물을 업무에 쓰기 전 최소 Harness 체크리스트

아래 항목에 얼마나 "예"라고 답할 수 있는지가 지금 필요한 것이 무엇인지를 가릅니다.

• 이 업무의 통과·실패 기준이 모델 밖 문서로 존재한다
• 결과를 만드는 주체와 확인하는 주체가 분리되어 있다
• 결과물의 사실 근거를 원본 자료와 직접 대조할 수 있다
• 기준 미달 시 자동으로 다음 단계 진행이 막힌다
• 검증에 실패했을 때 무엇이 왜 부족한지 기록이 남는다

"예"가 적을수록, 지금 필요한 건 더 강력한 모델이 아니라 최소한의 Harness를 먼저 설계하는 일입니다. 모델은 계속 좋아지지만 그 결과를 언제 믿을 수 있는지를 정하는 건 여전히 조직이 만든 구조의 몫입니다.