온프레미스 AI (On-premises AI)

모델 위치에서 시스템 전체로 질문을 넓힌다

‘사내 자료를 밖으로 보내지 않고 AI를 쓰고 싶다’는 요구를 받으면 무엇을 사내에서 실행할지 먼저 구체화해야 합니다. 모델만 사내에 있고 검색이나 문서 변환이 외부 서비스에서 수행되면 데이터 흐름은 달라집니다.

BOAZ의 온프레미스 협업 검토 자료에도 실행 위치와 망 조건에 관한 질문이 등장합니다. 이 글은 그 검토에서 다룬 개념을 정리한 것이며, 특정 고객의 도입 완료나 벤더 성능을 입증하는 사례는 아닙니다.

온프레미스·로컬·폐쇄망을 구분한다

이 조건은 서로 조합될 수 있습니다. 로컬 LLM을 사내 서버에서 실행하더라도 검색 도구가 인터넷을 사용할 수 있습니다. ‘사내 실행’ 한 문장으로 모든 조건을 대신하지 않습니다.

데이터가 지나가는 경로를 확인한다

입력 문서, 문서 변환, 임베딩, 검색, 모델 추론, 결과 저장, 운영 로그의 처리 위치를 표시합니다. RAG를 사용한다면 원문과 검색 인덱스의 저장·접근 조건도 확인합니다.

외부 API를 호출하는 도구에는 어떤 입력이 전달되는지 살펴봅니다. 정상 경로뿐 아니라 오류 시 외부 모델로 바꾸는 대체 경로와 운영 진단 기능도 확인해야 실제 범위를 설명할 수 있습니다.

폐쇄망에는 배포와 갱신 경로가 필요하다

외부 연결이 제한되면 모델 파일과 패키지를 들여오고 검증하는 방법부터 정해야 합니다. 업데이트가 필요할 때의 반입 절차와 되돌릴 버전도 운영 설계에 포함됩니다.

예를 들어 Red Hat의 분리 환경 배포 문서는 내부 이미지 저장소와 미러링 등 별도의 준비를 설명합니다. 이는 특정 제품의 구현 예시이며 모든 환경이 같은 제품이나 절차를 써야 한다는 뜻은 아닙니다.

실행 위치가 품질과 권한을 대신하지 않는다

사내에서 실행해도 잘못된 답, 오래된 문서, 과도한 도구 권한은 남을 수 있습니다. Harness의 검증·중단 조건과 AI 거버넌스의 허용 범위를 별도로 설계합니다.

모델의 사용 조건, 실행 환경 지원, 장애 대응 담당자도 확인합니다. 장비 비용만으로 경제성을 결론 내리지 않고 실제 업무 완료율, 처리 시간, 운영 부담을 함께 평가합니다.

업무 범위와 운영 책임을 먼저 정한다

예를 들어 사내 규정 조회를 검토한다면 사용자 집단, 조회 가능한 문서, 최신판 관리, 응답 지연 허용 범위, 오류 제보와 수정 담당자를 먼저 정할 수 있습니다. 이후 필요한 처리량과 환경을 검증합니다.

이 과정은 AI 준비도 점검과 연결됩니다. 기술을 설치할 수 있는지와 조직이 지속적으로 운영할 수 있는지는 각각 확인할 질문입니다.