목차
- 왜 지금 로컬 LLM 설치를 고민해야 할까
- 로컬 LLM 설치 전 꼭 확인해야 할 사양
- Ollama vs LM Studio, 뭐가 더 편할까?
- 단계별 로컬 LLM 설치 가이드
- 실전 활용 팁과 자주 하는 실수
- FAQ
왜 지금 로컬 LLM 설치를 고민해야 할까
솔직히 ChatGPT Plus 구독료 월 20달러에 Claude Pro 까지 붙으면 월 40달러가 훌쩍 넘죠. 저도 작년까지는 그냥 결제했는데, 올해 초부터 개인 프로젝트 코드를 클라우드에 올려도 되나 하는 찝찝함이 쌓이더라구요. 특히 고객 데이터 섞인 문서 요약 돌릴 때요. 그때부터 진지하게 내 맥북에 직접 모델을 돌려보기 시작했습니다.
실제 통계를 보면 Hugging Face 의 월간 모델 다운로드 수가 2,400만 건을 넘겼고, 개인 사용자 비율이 40% 정도로 집계됩니다. 이제는 개발자만의 영역이 아니라는 얘기죠. 게다가 Llama 3.3 같은 오픈 모델이 GPT-4 대비 성능 85~90% 까지 따라붙으면서, 월 구독료를 아끼면서도 충분히 쓸 만한 환경이 만들어졌어요.
로컬 LLM 설치 전 꼭 확인해야 할 사양
가장 많이 받는 질문이 “제 컴퓨터로 가능할까요?” 예요. 결론부터 말하면 요즘 판매되는 M1 이후 맥북, 또는 16GB RAM 이상 윈도우 PC면 대부분 돌아갑니다.
Q. RAM 과 VRAM, 둘 중 뭐가 중요할까
애플 실리콘(M1~M4)은 통합 메모리 구조라 RAM 수치 하나만 보면 돼요. 반면 엔비디아 GPU 가 달린 윈도우/리눅스 환경은 VRAM 이 병목입니다. 7B(70억 파라미터) 규모 모델 기준으로 4.7GB 정도의 디스크 공간과 약 8GB VRAM/RAM 이 필요하고, 70B 대형 모델은 48GB 이상이 권장 사양이에요.
저장 공간과 초기 다운로드 시간
Ollama 본체 자체는 680MB 로 가볍지만, 모델 파일이 진짜예요. Llama 3.1 8B 하나 받는 데 평균 인터넷 속도 기준 10~15분 걸렸습니다. 저는 처음에 욕심껏 4개 모델을 한꺼번에 받다가 SSD 용량 경고를 만났어요. 여유 공간 최소 30GB 는 비워두시길.
Ollama vs LM Studio, 뭐가 더 편할까?
로컬 LLM 설치를 처음 시도할 때 대부분 이 두 도구 사이에서 고민하게 됩니다. 저는 둘 다 석 달 정도 번갈아 쓰다가 결국 용도를 나누게 됐어요.
| 항목 | Ollama | LM Studio |
|---|---|---|
| 인터페이스 | CLI 중심 (터미널) | GUI (그래픽 화면) |
| 추천 대상 | 개발자, API 연동 | 비개발자, GUI 선호 |
| 속도 (8B 모델, M2 Pro) | 약 28 tok/s | 약 25 tok/s |
| 모델 관리 | 커맨드 한 줄 | 검색-클릭 방식 |
GitHub 스타 12만 개를 넘긴 Ollama 쪽이 커뮤니티와 확장 생태계가 단단한 편이지만, 터미널이 낯선 분께는 LM Studio 쪽이 심리적 장벽이 훨씬 낮습니다. 코드 작성 도구로 쓰실 거면 Ollama, 글쓰기 파트너로만 쓰실 거면 후자가 무난해요.
단계별 로컬 LLM 설치 가이드
macOS 에서 Ollama 설치하기
공식 사이트에서 설치 파일을 받은 뒤, 응용프로그램 폴더에 드래그하면 끝이에요. 그다음 터미널에서 ollama run llama3.1 한 줄 치면 자동으로 모델을 받고 대화창이 뜹니다. 저는 처음에 이게 너무 간단해서 뭔가 빠진 줄 알았어요. 진짜 이게 전부입니다.
Windows 에서 LM Studio 설치하기
다운로드한 설치 파일을 실행한 뒤 검색창에 “qwen” 이나 “llama” 같은 키워드를 치면 다운로드 가능한 모델 목록이 뜹니다. Q4_K_M 버전이 속도와 품질 균형이 가장 좋다고 알려져 있어요. 받은 다음 Chat 탭에서 모델을 선택하면 바로 대화가 됩니다.
어떤 모델부터 써야 할지 모르겠다면
제 경험상 처음에는 Phi-3 Mini(3.8B)로 가볍게 체감해보고, 마음에 들면 Llama 3.1 8B 로 넘어가는 순서가 가장 좌절이 적었습니다. 한국어는 Qwen 2.5 쪽이 체감상 자연스러웠어요.
실전 활용 팁과 자주 하는 실수
가장 많이 듣는 불만이 “느려서 못 쓰겠다” 인데, 이게 보통 모델 크기 선택 실수예요. 맥북 에어 M2 에 70B 모델을 올리면 당연히 답답합니다. 본인 RAM 의 절반 이하 크기 모델을 고르는 게 체감 속도의 시작이에요.
- 백그라운드 앱 정리: 크롬 탭 50개 켜두고 “왜 느리지?” 는 금물
- 컨텍스트 길이는 4k 기본으로 두고, 필요할 때만 늘리기
- 자주 쓰는 프롬프트는 Modelfile 로 저장해 반복 입력 줄이기
관련해서 2026년 AI 생산성 도구 추천과 Claude MCP 자동화 실전 가이드 글도 함께 읽어보시면 워크플로우 구성에 도움이 됩니다.
FAQ
Q. M1 8GB 맥북에서도 로컬 LLM 설치가 가능한가요?
A. 네, Phi-3 Mini 같은 3~4B 모델은 충분히 돌아갑니다. 다만 다른 무거운 앱을 동시에 띄우면 스왑이 심해지니, 전용 작업 세션으로 쓰시는 걸 추천해요.
Q. 인터넷 없이도 쓸 수 있나요?
A. 모델을 한 번 받아두면 이후에는 완전 오프라인으로 작동합니다. 비행기나 카페 와이파이가 불안한 환경에서 오히려 진가를 발휘해요.
Q. ChatGPT 와 비교하면 품질이 얼마나 차이 나나요?
A. 8B 급 오픈 모델은 일상적인 글쓰기·코드 스니펫 생성에서 약 85~90% 수준을 보여줍니다. 복잡한 수학 증명이나 최신 뉴스 요약 같은 작업은 여전히 상용 서비스가 우세해요.
마무리하며
처음 설치할 때 한 30분 정도 투자한 것치고는 매달 빠져나가던 구독료가 줄어들고, 민감한 자료도 마음 편히 돌릴 수 있게 됐어요. 완벽한 대체재는 아니지만 두 번째 작업 라인으로 두기에는 충분합니다.
여러분은 어떤 AI 도구 조합으로 일하고 계시나요? 혹시 이미 로컬 환경을 운영 중이시라면 어떤 모델을 주로 쓰시는지, 댓글로 경험 공유해주시면 다른 분들께도 큰 도움이 될 것 같아요. 이 글이 도움이 됐다면 비슷한 고민을 하고 계신 동료분께도 공유 부탁드립니다.
관련 글: 더 많은 글 보러가기
공식 자료: 관련 검색