Context (컨텍스트) 관리

Context(컨텍스트) 는 AI가 지금 이 순간 판단에 참고하는 정보의 범위, 다시 말해 AI가 쓰는 '기억'을 말합니다. 이 범위는 무한하지 않습니다. 대화나 작업이 길어질수록 관련 없는 내용까지 쌓입니다. 쌓인 내용이 늘어날수록 정작 지켜야 할 지시를 놓치거나 앞서 한 말과 다르게 답하는 일이 생깁니다. Context 관리란 이 범위를 방치하지 않고, 작업 단위로 비우고 나누고 필요할 때만 이어 붙여 AI가 지금 무엇을 해야 하는지 정확히 판단하게 만드는 실무 습관입니다.

Context란 무엇인가 — AI가 지금 일하는 '책상'

AI가 어떤 답을 내놓을 때, 그 판단은 대화창이나 작업 폴더 안에 쌓인 모든 내용 — 이전 대화, 읽어 들인 파일, 실행한 명령의 결과 — 을 참고해 이뤄집니다. 이 참고 범위를 Context라고 부릅니다. 비유하자면 Context는 AI가 지금 앉아 있는 책상입니다. 책상 위에 필요한 자료만 정리돼 있으면 바로 찾아 쓰지만, 관련 없는 서류까지 뒤섞여 쌓이면 정작 중요한 메모를 못 보고 지나치기 쉽습니다. Context 안에 정보가 있다는 것과, 그 정보가 지금 판단에 충분히 반영된다는 것은 서로 다른 문제입니다.

Context는 왜 관리 대상인가 — 범위는 유한하고, 길어지면 규칙이 흐려진다

Context가 관리 대상이 되는 이유는 두 가지 구조적 특성 때문입니다.

• 범위가 유한하다. AI가 한 번에 참고할 수 있는 분량에는 한계가 있습니다. 그 한계에 가까워지면 오래된 내용부터 요약되거나 뒤로 밀립니다.
• 길어지면 압축되고, 압축되면 규칙이 약해진다. 대화나 작업이 길어지면 지금까지의 내용이 요약(압축)됩니다. 이 과정에서 "고객 승인 전에는 절대 배포하지 않는다" 같은 절대 규칙조차 "배포 전 확인이 필요하다" 정도로 강도가 약해질 수 있습니다. 의미는 비슷해 보여도, 지켜야 할 무게는 달라집니다.

이 두 가지는 모델이 게을러서가 아니라, 동작하는 방식 자체에서 나오는 특성입니다. 그래서 "잘 기억해 달라"고 부탁하는 것보다, 애초에 Context를 뒤섞지 않는 쪽이 훨씬 확실합니다.

실무에서 Context를 관리한다는 것 — 비우기·분리·이어가기

Context 관리는 거창한 기술이 아니라 세 가지 동작으로 요약됩니다.

• 비우기(Clear): 작업 하나가 끝나면 책상을 정리하듯 Context를 비우고, 다음 작업을 깨끗한 상태에서 시작합니다.
• 분리하기(Separate): 성격이 다른 작업은 애초에 다른 폴더·다른 세션으로 나눠, 서로의 Context가 섞이지 않게 합니다.
• 이어가기(Resume): 정말 이전 작업의 맥락이 필요할 때만, 그 세션을 의도적으로 다시 불러옵니다.

Claude Code 같은 CLI 기반 AI 에이전트가 웹 챗봇과 갈라지는 지점이 여기입니다. 챗봇 창에서는 이 범위가 대화창 뒤에 숨어 있어 사용자가 손댈 수 없지만, CLI는 이 범위를 사용자가 직접 관리하도록 열어 둡니다. 대화가 끊긴 게 아니라, 기억의 경계를 사람이 일부러 그어둔 상태입니다.

관리하지 않았을 때와 관리했을 때 — 무엇이 달라지나

Context 관리와 검증(Harness)의 관계

Context를 잘 관리해도 문제가 완전히 사라지지는 않습니다. AI는 매 순간 Context 전체에서 지금 필요한 정보를 다시 골라 쓰는데, 이 선택 자체가 항상 완벽하지는 않기 때문입니다. Context 관리가 "책상 위에 불필요한 서류를 치우는 일"이라면, 그 위에서 나온 결과가 실제 기준을 지켰는지 확인하는 일은 별도의 검증 단계가 맡아야 합니다. Context를 설계하고 상태와 검증 기준을 모델 밖에 두는 구조를 Harness라고 부르며, 실무에서는 검증 Loop로 구현됩니다. Context 관리는 이 구조의 출발점일 뿐, 전부는 아닙니다.

AI를 쓰는 팀이 길러야 할 Context 습관 체크리스트

아래 항목에 얼마나 "예"라고 답할 수 있는지가 팀의 Context 관리 수준을 가릅니다.

• 새 작업을 시작할 때 이전 작업의 Context를 그대로 이어 쓰지 않는다
• 성격이 다른 업무를 같은 대화·세션 안에서 섞어 처리하지 않는다
• 절대 지켜야 할 규칙은 대화 중간이 아니라 매 작업 시작 시점에 다시 명시한다
• 결과가 이상할 때 원인을 묻기 전에 무작정 새 세션부터 열지 않는다
• 중요한 결과물은 Context 안 판단만으로 끝내지 않고 별도로 확인하는 절차가 있다

"예"가 적을수록, 지금 필요한 건 더 똑똑한 프롬프트가 아니라 Context를 다루는 팀의 작업 습관을 먼저 정리하는 일입니다. Context 관리는 프롬프트를 잘 쓰는 기술이 아니라, AI에게 일을 맡기는 조직이 갖춰야 할 기본 작업 방식입니다.