로컬 LLM 의 구축 방법은 단일하지 않다. 본 글은 구축 과정을 공개한 한국어 영상 8편을 네 개 항목으로 분류하고, 각 항목의 요지와 해당 영상의 측정 조건을 기술한다. 영상 목록은 참고문헌에 제시한다.

1. 보유 장비의 실행 가능성 판단

대부분의 PC 에서 실행 자체는 가능하다. 실사용 가능성을 결정하는 변수는 생성 속도이다. 모델이 메모리에 적재되면 실행되며, 초당 생성 토큰이 4 미만이면 대화형 사용이 어렵다. 로컬 LLM 의 정의와 구동 원리는 참고문헌 [1] 에서 15분 분량으로 설명한다.

보유 장비의 생성 속도는 다음 절차로 측정한다.

1. Ollama 를 설치한다. 윈도우와 맥을 모두 지원한다.
2. 터미널에 아래 명령을 입력하고 임의의 질문을 1회 입력한다. 모델 이름에는 내려받은 모델을 지정한다.
3. 응답이 종료되면 통계가 출력된다. eval rate 항목의 값이 초당 생성 토큰이다.

ollama run 모델이름 --verbose

total duration:       12.481s
load duration:        0.038s
eval count:           412 token(s)
eval rate:            41.62 tokens/s

측정한 속도는 아래 식으로 환산 점수로 바꾼다. 지능 지수는 Artificial Analysis Intelligence Index v4.3 의 값이며, 클라우드 모델과 동일한 척도이다. 생성 속도가 25 tok/s 를 초과하면 속도 계수는 1 로 고정한다.

환산 점수 = 지능 지수 × (0.3 + 0.7 × min(1, 속도 ÷ 25))

표 1. 측정 속도와 실행 모델에 따른 환산 점수. 비교 기준으로 Claude 4.5 Haiku 는 18점, Gemini 3.5 Flash 는 33점, Claude Sonnet 5 는 38점, 최상위 모델은 53점이다.

2. 신규 장비 선정 기준

선정 기준은 메모리 용량이 우선이고 대역폭이 그다음이다. VRAM 16GB 에는 27B 급 모델이 적재되지 않는다. 맥은 동일 가격에서 메모리 용량이 크지만 대역폭이 낮아 동일 모델의 생성 속도가 낮게 측정된다.

참고문헌 [2] 는 엔비디아 10종과 라데온 6종, 모두 16종의 그래픽카드에 동일 모델 4종을 적재하여 생성 속도를 측정하였다. 목차에 따르면 Ollama 와 LM Studio 는 내부 엔진이 상이하여 비교 조건이 일정하지 않으므로 llama.cpp 로 통일하였고, CUDA 와 Vulkan 과 HIP 를 각각 측정하였다. 이어 듀얼 GPU 구성을 실험하였으며, 라데온 2장 구성에서 윈도우 TDR 드라이버 문제가 발생하였다고 기술한다. 시험 모델은 Dense 계열의 GEMMA4 31B 와 QWEN 3.6 27B, MoE 계열의 GEMMA4 26B A4B 와 QWEN 3.6 35B A3B 이다. 순위 표는 영상 화면에만 제시되어 있으며 15분 48초 지점부터 나온다.

참고문헌 [3] 은 VRAM 32GB 라데온 1장으로 윈도우 환경에서 로컬 AI 를 구동하고, ROCm 과 Vulkan 을 Ollama 와 LM Studio 와 llama.cpp 세 도구에서 각각 비교하였다. 목차의 약 절반이 발열과 팬 소음에 할당되어 있다. 블로워 방식의 온도 문제와 팬 곡선 조정, 팬 속도 저하에 따른 누적 발열 증가를 다룬다. 소음과 발열을 실사용 변수로 측정한 사례에 해당한다.

맥 구성은 두 편이 있다. 참고문헌 [4] 는 맥 미니 32GB 1대에 모델 5종을 순차 적재하여 구동 결과를 비교하였다. 재생 시간이 12분으로 설치 절차는 포함하지 않는다. 참고문헌 [5] 는 맥북 프로에 로컬 LLM 을 구성한 2주간의 과정을 다루며, 칩 등급별 메모리 대역폭 차이와 설치 절차를 순서대로 기술한다. 설명란에는 메모리 64GB 이하에서는 대형 모델의 문맥 창 설정이 제한되며, DGX Spark 는 메모리가 128GB 이나 대역폭은 M5 Max 보다 낮다고 적혀 있다.

표 2. 장비 선정 항목에 해당하는 영상 4편의 측정 조건.

가격과 성능을 함께 비교한 자료는 같은 게시판의 「로컬 LLM 가격 대비 성능 곡선」에 있다. 조립PC 와 맥 27개 구성의 국내 실가격과 예상 점수를 제시한다. 해당 자료의 점수는 대역폭에서 역산한 추정치이고 표 1 은 실측 속도를 입력으로 하나, 척도는 동일하다.

3. 실행 엔진 교체에 따른 속도 개선

장비를 교체하지 않고 속도를 개선하는 방법으로 실행 엔진 교체가 있다. 참고문헌 [6] 은 vLLM 의 핵심 기법인 PagedAttention 과 Continuous Batching 의 원리를 설명한다. 이어 동일 모델에서 Ollama 와 생성 속도를 비교하였다. 시험 코드와 RedHat 벤치마크 자료의 주소를 설명란에 제시한다.

다만 제목은 9배, 설명란은 처리량 19배와 응답 속도 8배로 기재하여 수치가 일치하지 않는다. 또한 Continuous Batching 은 복수 요청을 동시에 처리할 때 효과가 크다. 따라서 단독 사용 환경에서는 개선 폭이 제한적이다.

4. 문서 연동과 파인튜닝

보유 문서를 응답에 반영하는 방법은 두 가지이다. 문서를 검색하여 그 내용으로 응답을 생성하는 RAG 와 모델을 재학습하는 파인튜닝이다. 대부분의 용도에서는 RAG 로 충분하며 비용도 낮다. 파인튜닝은 응답의 형식과 문체를 고정해야 하는 경우에 적용한다.

참고문헌 [7] 은 허깅페이스의 한국어 파인튜닝 모델을 Ollama 에 적재하고 LangServe 로 호스팅한 뒤 RAG 를 구성하는 전 과정을 다룬다. 소스코드를 공개하였다. 참고문헌 [8] 은 데이터셋을 구성한 뒤 Base 모델과 Instruct 모델을 각각 훈련하여 결과를 비교하였다. 강의 노트를 공개하였다.

5. 본 자료의 한계

• 각 영상의 내용은 설명란과 목차를 근거로 기술하였다. 영상 전체를 시청한 후의 평가가 아니다.
• 영상 화면의 순위 표에 제시된 tok/s 수치는 인용하지 않았다. 화면에만 표시되어 정확한 전사가 불가능하였다.
• 참고문헌 [1] 은 조립PC 판매 채널의 영상이며 설명란이 판매 링크로 구성되어 있다. 장비 추천의 중립성에는 제한이 있다.
• RAG 와 파인튜닝을 다룬 한국어 영상은 2024년과 2025년 자료가 주를 이룬다.
• 지능 지수는 영어권 벤치마크의 종합값이다. 한국어 실무 품질은 해당 점수보다 낮게 나타날 수 있다.
• 재생 시간과 게시일은 2026년 9월 27일 기준으로 확인하였다.