로컬 LLM (Local LLM)

앱의 위치와 모델의 위치는 다르다

데스크톱 앱을 열었다고 그 안의 모델이 내 컴퓨터에서 실행되는 것은 아닙니다. 앱이 입력을 원격 서버에 보내 응답을 표시할 수 있습니다. 로컬 LLM을 구분할 때는 실제 추론을 처리하는 컴퓨터나 서버를 확인합니다.

내 컴퓨터에서 모델을 실행할 수도 있고, 사내 서버의 모델에 접속할 수도 있습니다. 후자는 조직 관점의 자체 실행이지만 사용자 기기 내부에서 추론하는 구성과는 다릅니다. 온프레미스 AI에서는 이 배치와 운영 책임을 함께 다룹니다.

모델·실행 도구·하네스를 나눠 본다

Ollama 같은 실행 도구도 사용하는 모델에 따라 로컬 실행과 클라우드 연결을 구분해야 합니다. Ollama FAQ는 로컬 실행의 데이터 처리와 클라우드 기능을 끄는 설정을 별도로 설명합니다.

Harness는 모델 주변의 실행 구조입니다. 모델이 한국어 질문에 답하는지와 AI 에이전트가 파일을 수정하고 테스트까지 완료하는지는 다른 질문입니다.

필요한 메모리는 모델 크기만으로 정해지지 않는다

모델 가중치뿐 아니라 문맥 처리와 실행에 필요한 메모리가 있습니다. 문맥이 길어지거나 동시 요청이 늘면 자원 요구도 달라집니다. CPU·GPU와 사용하는 실행 방식도 영향을 줍니다.

양자화는 가중치 등의 수치 표현을 줄이는 방법입니다. 메모리 부담을 낮출 수 있지만 품질과 속도에 미치는 영향은 모델·방식·작업에 따라 검증해야 합니다. 특정 장비에서 실행됐다는 사실만으로 모든 길이의 작업이 원활하다고 일반화하지 않습니다.

로컬 실행과 외부 전송 여부를 따로 확인한다

모델 추론이 로컬이어도 웹 검색, 외부 API, 오류 로그 전송이나 클라우드 대체 호출을 사용할 수 있습니다. 입력에서 결과 저장까지 어떤 서비스가 연결되는지 확인해야 합니다.

인터넷 없이 쓰려면 모델과 필요한 패키지를 먼저 준비하고 외부 의존 경로를 점검합니다. 사내에 서버를 공개할 때는 누가 접속할 수 있고 어떤 자료를 처리할 수 있는지도 정해야 합니다.

토큰 속도보다 작업 완료를 평가한다

가상 문서 분류 업무라면 정해둔 샘플에서 분류가 맞는지, 애매한 자료를 표시하는지, 결과 형식이 일관되는지를 확인할 수 있습니다. 코딩 업무라면 수정 범위, 테스트 결과, 실패 후 복구까지 살펴봅니다.

응답이 빨라도 여러 번 다시 시키거나 사람이 대부분 고치면 전체 시간은 길어집니다. 검증 Loop에 완료 조건과 실패 기록을 연결하고 동일한 입력·환경에서 비교합니다.

BOAZ 실험 기록의 해석 범위

BOAZ의 로컬 모델·코딩 하네스 연구는 2026년 9월 9일 종료 기록으로 정리돼 있습니다. 미완 실험을 포함하므로 특정 모델이 상용 모델을 대체했다거나 경제성이 입증됐다는 결론으로 사용하지 않습니다.

실무에 적용할 때도 제한된 작업에서 먼저 평가하고 범위를 넓힙니다. 사용할 모델의 조건과 운영 부담을 확인하면서, 성능 비교에는 작업·모델 버전·문맥·도구·검증 조건을 함께 남겨야 결과를 해석할 수 있습니다.