청킹 (Chunking)

문서를 나누는 기준이 필요한 이유

RAG는 질문에 필요한 부분을 찾아 답변에 사용합니다. 긴 문서를 작은 단위로 나누면 필요한 부분만 검색하고 전달할 수 있습니다. 다만 어느 위치에서 자르는지에 따라 조각의 의미가 달라질 수 있습니다.

BOAZ의 온톨로지 교안에서도 문서 분할을 검색 환경을 만드는 첫 단계로 다룹니다. 조각을 만든 뒤에는 실제 질문으로 검색하고 원문에서 무엇이 함께 읽혀야 하는지 확인해야 합니다.

본문과 조건이 떨어지면 생기는 문제

다음은 가상 사내 안내문입니다.

서울 사무소 방문 안내 / 예약 방문자 대상 / 방문 전 담당자 확인 필요

‘담당자 확인 필요’라는 조각만 검색되면 어느 사무소와 어떤 방문자에게 적용하는지 알 수 없습니다. 반대로 전체 사무소의 모든 안내를 한 조각에 넣으면 필요한 규칙을 골라내기 어려울 수 있습니다.

제목·적용 대상·본문을 함께 검색할 수 있도록 구성하고, 길이 때문에 나눴다면 상위 제목이나 원문 위치를 연결합니다.

분할 방식마다 확인할 점

Azure의 청킹 가이드도 고정 크기와 구조·내용에 따른 분할, 겹침 등을 설명합니다. 특정 서비스의 예시 크기를 모든 문서의 정답으로 적용하지 말고 사용하는 모델의 입력 한계와 문서 특성을 확인합니다.

겹침은 중복과 함께 평가한다

인접한 두 조각에 일부 문장을 중복해 넣는 것을 겹침 또는 오버랩이라고 합니다. 경계에서 맥락이 끊기는 문제를 줄일 수 있지만 같은 내용이 여러 번 검색될 수도 있습니다.

답변 입력을 조립할 때 중복을 정리하고, 필요한 경우 검색된 조각 주변을 추가로 읽는 방법도 검토할 수 있습니다. 목적은 조각을 많이 만드는 것이 아니라 이번 질문에 필요한 맥락을 확보하는 것입니다.

표와 출처를 함께 보존한다

표의 숫자만 떼어 저장하면 열 제목·단위·각주가 사라질 수 있습니다. 같은 숫자라도 매출인지 건수인지 알 수 없다면 답변의 근거로 쓰기 어렵습니다.

각 조각에는 원문 ID, 문서 제목, 절이나 페이지, 버전 등의 정보를 연결합니다. 조회 권한과 적용 시점도 검색 과정에서 확인할 수 있어야 합니다. 출처 추적이 가능해야 조각에서 원문으로 돌아갈 수 있습니다.

실제 질문으로 분할 결과를 비교한다

정확한 항목을 찾는 질문, 여러 절의 조건을 함께 봐야 하는 질문, 자료에 답이 없는 질문을 준비합니다. 필요한 근거가 검색되는지와 답변이 그 근거를 제대로 사용하는지를 나누어 확인합니다.

문서를 고치거나 분할 방식을 바꿨다면 이전 조각이 검색에 남아 있는지도 봅니다. 임베딩과 인덱스 갱신까지 이어져야 실제 답변에 변경이 도달합니다. 이는 지식 갱신의 검색 측 확인 항목입니다.