가드레일 (Guardrail)

가드레일(Guardrail)은 AI 시스템이 정해진 범위를 따르도록 안내·탐지·제한하는 장치입니다. 입력 지침, 출력 필터, 검증 코드, 도구 권한, 사람 확인처럼 여러 형태로 구현할 수 있습니다.

업무를 위임할 때는 무엇을 막을지와 함께 어디까지 별도 확인 없이 진행해도 되는지를 정합니다. 이 범위가 명확하면 사람이 판단할 지점과 AI가 이어서 수행할 지점을 나눌 수 있습니다.

지침과 실행 제한은 강제력이 다르다

모델에게 ‘검증을 잊지 마’라고 말하는 것과, 검증을 통과해야 배포 코드가 실행되는 것은 다릅니다. 검사에 LLM을 사용한다면 그 검사도 오류를 낼 수 있으므로 중요한 조건은 독립적으로 확인합니다.

BOAZ가 업무 위임에서 살펴보는 세 영역

이 구분은 실무 설계를 위한 틀이며 모든 가드레일의 공식 분류는 아닙니다.

1. 실행 범위: 사용할 파일·계정·도구와 허용된 동작을 정합니다. 읽기, 초안 수정, 외부 반영은 영향이 다릅니다.
2. 결과 검증: 어떤 조건을 만족해야 다음 단계로 갈지 정합니다. 검증 Loop에 실패 피드백과 중단 조건을 연결합니다.
3. 책임과 기록: 누가 결정하며 어떤 근거와 변경 이력을 남길지 정합니다. AI 거버넌스와 연결되는 부분입니다.

예를 들어 비용 정리 초안을 만드는 일에서는 허용된 자료를 읽고 합계를 대조하게 할 수 있습니다. 그 결과를 회계 시스템에 반영하는 일은 별도의 권한과 검증 조건이 필요합니다. 이미 승인한 범위 안의 반복 작업은 매번 같은 질문을 되풀이하지 않도록 설계합니다.

프롬프트 인젝션은 자료 속 지시를 구분하는 문제다

프롬프트 인젝션은 외부 문서나 도구 결과에 섞인 지시가 AI를 사용자의 의도와 다른 행동으로 유도하는 공격입니다. 웹 자료에 무관한 작업을 실행하라는 문장이 있어도 그것은 사용자가 승인한 새 업무가 아닙니다.

Anthropic의 실행 환경 보호 설명은 신뢰하지 않는 입력과 도구·하위 에이전트 결과를 다룰 때의 경계를 설명합니다. 읽어온 내용이 요약되거나 다른 에이전트를 거쳤다는 이유만으로 높은 신뢰의 지시가 되지는 않습니다.

출처와 지시의 권한을 구분하고, 도구에는 필요한 접근만 허용하며, 외부 변경에는 실제 요청 범위를 검사합니다. 탐지 문구나 필터 하나로 모든 인젝션이 막힌다고 가정하지 않습니다. MCP로 연결된 도구도 같은 구분이 필요합니다.

승인 요청은 판단할 내용을 담아야 한다

확인 창이 많이 뜬다는 이유만으로 통제가 잘된다고 볼 수 없습니다. 무엇이 달라지는지 모른 채 승인하면 중요한 변경을 놓칠 수 있습니다.

추가 판단이 필요한 시점에는 변경 전후, 영향을 받는 대상, 확인한 내용, 되돌릴 방법을 함께 보여줍니다. 기존 허용 범위와 새 결정을 구분하면 반복 확인을 줄이면서 필요한 판단에 집중할 수 있습니다. 휴먼 인 더 루프는 이런 검토가 실제 작업 흐름에 들어가는 구조입니다.

위키 운영에서 확인한 경계

BOAZ 위키의 검토 도구는 승인한 변경과 반영할 버전을 대조합니다. 그러나 파일을 직접 수정할 수 있는 환경이라면 그 도구 하나가 모든 우회 경로를 막는 것은 아닙니다.

문서 규칙, 검토 도구, 파일 쓰기 권한은 서로 다른 층입니다. 어떤 경로에서 규칙이 적용되는지 확인해야 실제 통제 범위를 설명할 수 있습니다. 이 차이를 이해하는 것이 Harness를 설계할 때도 중요합니다.