임베딩 (Embedding)

같은 단어가 없어도 관련 자료를 찾으려면

직원이 ‘출장비 정산 증빙’을 검색했는데 문서 제목은 ‘여비 지급 첨부서류’라고 해봅시다. 정확히 같은 표현만 찾으면 필요한 자료를 놓칠 수 있습니다. 임베딩 검색은 질문과 문서의 수치 표현을 비교해 관련 후보를 찾는 방법입니다.

이 예시는 원리를 설명하기 위한 가상 상황입니다. 두 문서가 실제로 검색되는지와 순위는 모델·자료·검색 설정에 따라 달라집니다.

문서와 질문을 비교하는 흐름

Azure AI Search의 벡터 인덱스 설명은 벡터와 일반 텍스트 필드를 함께 저장하고 검색에 활용하는 구성을 보여줍니다. 업무 시스템에서도 원문과 출처를 함께 보관해야 검색된 벡터가 무엇을 뜻하는지 확인할 수 있습니다.

키워드 검색과 함께 쓸 수 있다

벡터 검색이 모든 상황에서 우수한 것은 아닙니다. 특정 계약 번호를 찾는 일과 비슷한 장애 사례를 찾는 일은 평가할 질문이 다릅니다. 순위를 보여주는 점수를 ‘정답일 확률’로 읽지 않아야 합니다.

유사도와 사실 판단은 다르다

현재 기준과 폐지된 기준은 내용이 매우 비슷할 수 있습니다. 대상 조직이나 시행일이 다르면 비슷한 문서라도 질문의 답이 아닐 수 있습니다.

검색 후보에 문서 유형·시점·접근 권한 등의 조건을 적용하고 원문을 확인합니다. 검색하지 못한 것을 답변 모델이 임의로 메우지 않도록 RAG의 근거 사용과 검증도 설계합니다.

청킹과 모델 변경이 결과에 영향을 준다

한 벡터에 너무 많은 주제가 섞이면 질문에 필요한 부분의 특징이 약해질 수 있습니다. 반대로 문서를 너무 잘게 자르면 적용 조건과 본문이 분리됩니다. 청킹의 단위와 벡터 검색 결과를 함께 확인합니다.

임베딩 모델을 바꿀 때는 차원 수만 같다고 호환된다고 가정하지 않습니다. 문서와 질문을 같은 방식으로 표현하는지, 기존 인덱스를 다시 만들어야 하는지 확인합니다. 문서를 수정했다면 벡터와 검색 사본에도 변경이 반영돼야 합니다.

실습에서는 답변 이전의 검색 결과를 본다

BOAZ의 온톨로지 교안은 문서 분할 → 임베딩 → 인덱싱 → 검색 → 답변을 나눠 다룹니다. 답변이 틀렸다면 먼저 검색 후보에 필요한 근거가 있었는지 확인할 수 있습니다.

표현을 바꾼 질문, 정확한 문서 번호를 찾는 질문, 자료에 없는 질문을 준비합니다. 후보의 관련성·최신성·출처를 확인한 다음 답변을 평가하면 어느 단계의 문제인지 구분하기 쉽습니다.