Attention (어텐션)

Attention(어텐션) 은 AI가 다음 단어를 만들 때 지금 갖고 있는 정보 중 무엇을 얼마나 참고할지 비중을 계산하는 방식입니다. 지금 쓰이는 대부분의 AI 모델이 동작하는 핵심 계산이며, 실무자가 이 이름을 알아야 하는 이유는 하나입니다. AI가 분명히 알려준 조건을 놓치는 현상이 대부분 여기서 설명되기 때문입니다.

Attention이 실제로 하는 일

계산식 자체는 이렇게 요약됩니다.

Attention(Q, K, V) = softmax(QKᵀ / √d) · V

기호를 실무 언어로 옮기면 다음과 같습니다.

즉 지금 필요한 것을 만들고, 각 정보와 비교해 관련도 점수를 낸 다음, 그 점수를 참고 비율로 바꿔 그만큼 실제 내용을 섞습니다. 읽는 게 아니라 비중을 배분하는 것 입니다.

재정의 — 잊은 게 아니라 밀린 것이다

여기서 실무자가 가져가야 할 핵심 성질은 softmax에 있습니다. 참고 비율의 합은 항상 1 입니다. 어딘가에 크게 주면 다른 곳은 반드시 작아집니다.

관련 높다고 판단한 표현    0.68
표현 B                    0.17
표현 C                    0.10
표현 D                    0.05
────────────────────────────
                    합계  1.00

이 제로섬 구조가 만들어내는 결과가 실무에서 매일 목격되는 현상입니다.

예를 들어 "고객은 혁신적인 기능을 원한다"와 "개인정보를 외부 서버에 저장하면 안 된다"를 함께 전달했다고 해봅시다. 모델이 "혁신적인 기능을 제안하면…"이라는 문장을 만드는 순간, 앞 조건은 관련도가 높아 큰 비중을 받고 뒤 조건은 지금 문맥과 관련이 낮다고 계산되어 비중이 밀려납니다. 조건은 사라지지 않았습니다. 분명히 갖고 있으면서도 결과에 충분히 반영하지 못한 것 입니다.

정보가 Context 안에 있다 ≠ 정보가 현재 생성 과정에서 충분한 비중을 받았다

이 한 줄이 Attention을 알아야 하는 이유의 전부입니다. AI가 조건을 빠뜨렸을 때 "왜 잊었지?"라고 묻는 대신 "무엇과 경쟁에서 밀렸지?"라고 물으면 해법이 달라집니다.

실무 결론 — 정보를 더 넣는 것은 기존 정보를 깎는 행위다

이 성질에서 가장 반직관적이면서 가장 유용한 결론이 나옵니다.

"혹시 몰라서 다 넣었다"가 가장 위험한 습관입니다.

참고 비율의 총합이 고정되어 있으므로, 혹시 몰라 넣은 참고 자료는 공짜로 추가되는 게 아니라 정말 중요한 조건의 비중을 깎아서 자리를 차지합니다. 자료를 많이 넣을수록 좋아진다는 직관은 일정 지점을 넘으면 뒤집힙니다.

여기에 하나가 더 겹칩니다. 자료가 길어지면 앞과 뒤에 놓인 내용은 비교적 잘 활용되는 반면, 가운데에 놓인 내용은 상대적으로 덜 활용되는 경향 이 있습니다. 그래서 중요한 기준을 긴 문서 한가운데 묻어두는 것은 최악의 배치입니다.

또 하나, Context에는 원본 자료만 쌓이는 게 아닙니다. 업무가 길어질수록 목표·지시사항 옆에 AI가 만든 계획·해석·중간 결과·오류 로그·요약·가정이 함께 쌓입니다. 모델 입장에서 이것들은 전부 같은 자격의 정보 라서, 자기가 만든 해석을 자기가 다시 근거로 삼는 상태가 됩니다. 앞 단계에서 잘못 들어간 숫자 하나가 이후 모든 단계에서 사실처럼 참고되는 오류 전파도 여기서 발생합니다.

왜 "절대 금지"가 조용히 사라지는가

Attention이 설명하는 또 하나의 현상은 규칙의 강도가 약해지는 것 입니다.

모델에게는 "절대 규칙"도 다른 문장들과 똑같은 자격의 텍스트입니다. 별도로 보관되는 상태값이 아니라 Context 속 한 줄일 뿐입니다. 그래서 대화가 길어져 요약이 일어나면 이런 변화가 생길 수 있습니다.

원래 조건  "고객이 승인하기 전에는 절대로 배포하지 않는다"
   ↓ 압축
절차 안내  "배포 전 고객 확인이 필요하다"
   ↓ 추가 압축
일정 조율  "고객과 배포 일정을 조율한다"          ← 강제성 소멸

의미는 비슷해 보이지만 "절대 금지"는 사라졌습니다. 그리고 이 변화는 아무런 경고 없이 일어납니다. 이것이 중요한 규칙을 프롬프트 문장에만 두면 안 되는 이유이고, 가드레일이 모델 밖에 있어야 하는 이유입니다.

그래서 무엇을 다르게 해야 하는가

Attention의 성질을 알고 나면 대응은 프롬프트 기술이 아니라 구조 설계로 넘어갑니다.

1. Context를 작게 나눈다 — 작업 단위로 끊어 그 단계에 필요한 것만 남깁니다. 비중을 나눠 가질 경쟁자를 줄이는 것이 가장 직접적인 해법입니다. (Context 관리)
2. 중요한 정보를 구조화한다 — 긴 산문 속 한 문장보다 항목으로 구분된 형태가 덜 묻힙니다.
3. 원본과 생성 결과를 분리한다 — 사실과 AI의 해석이 섞이지 않게 두면 자기 참조와 오류 전파를 줄일 수 있습니다.
4. 검증을 Attention 밖으로 꺼낸다 — 통과 조건을 프롬프트 문장이 아니라 별도 검증 단계로 만듭니다. 이것이 Harness의 핵심 역할이고, 깨끗한 맥락에서 결과물만 받아 대조하는 서브에이전트가 유효한 이유입니다.
5. 종료 조건을 외부에서 관리한다 — "검증했으니 끝"을 모델이 판단하게 두지 않습니다.

가장 자주 하는 오해가 여기서 갈립니다. AI에게 "검증을 잊지 마"라고 말하는 것 과 검증을 통과하지 않으면 다음 단계로 갈 수 없게 만드는 것 은 전혀 다른 수준의 통제입니다. 전자는 비중 경쟁에 참여하는 문장 하나를 추가한 것이고, 후자는 경쟁 자체를 벗어난 관문을 만든 것입니다.

한 가지 더 — 지금의 최선이 전체의 최선은 아니다

Attention과 함께 알아두면 좋은 성질이 하나 더 있습니다. 모델은 매 순간 다음 단어를 확률로 고릅니다. 그런데 그 순간 가장 확률이 높은 선택이 문장 전체로 봤을 때 최선이 아닐 수 있습니다.

첫 단어에서 "매우"가 40%로 1등이더라도, 전체 문장으로 이어졌을 때는 25%였던 "조건부로"로 시작한 쪽이 더 정확한 결과가 될 수 있습니다. 같은 질문에 같은 조건을 줘도 결론이 달라질 수 있는 이유이며, 그래서 한 번의 결과를 그대로 채택하지 않고 기준과 대조하는 검증 Loop가 필요합니다.

정리 — Attention을 알면 달라지는 판단

AI가 조건을 놓쳤을 때 모델을 탓하거나 프롬프트를 더 길게 쓰는 대신, 무엇이 비중을 가져갔는지 를 묻는 것 — 이 질문의 전환이 Attention을 실무 지식으로 만듭니다.