로컬 LLM Ollama 설치, Windows에서 덜 막히는 순서

로컬 LLM Ollama 설치, 지금은 여기서 가장 많이 막힌다

로컬 LLM Ollama 설치를 찾는 사람이 많은 건 이해가 됩니다. 매달 구독료를 더 붙이기 싫고, 내 PC 안에서 바로 모델을 돌리고 싶은 사람이 확실히 늘었거든요. 2026년 기준으로 Ollama는 Windows 앱으로 꽤 쉽게 들어오는데, 저장 위치를 안 보고 시작하면 C 드라이브가 먼저 답답해집니다.

제가 먼저 보는 건 화려한 성능표가 아니었습니다. 설치 자체보다 모델이 어디에 쌓이는지, 첫 실행 뒤 API가 바로 뜨는지, 이 세 군데가 실제 체감에 더 크게 걸리더라구요.

Step 1: 로컬 LLM Ollama 설치 전에 저장 위치부터 정하기

Ollama는 관리자 권한 없이 계정 기준으로 설치되고, 기본 바이너리만 해도 최소 4GB 정도 자리를 잡습니다. 문제는 그 다음입니다. 모델 파일은 수십 GB까지 금방 커져서, 아무 생각 없이 시작하면 C 드라이브 남은 용량이 먼저 줄어듭니다.

Step 2: Windows 앱으로 먼저 깔기

Windows에서는 설치 파일 방식이 제일 덜 꼬입니다. NVIDIA와 AMD Radeon GPU를 둘 다 지원하고, 설치가 끝나면 백그라운드에서 바로 떠 있습니다. CLI도 자동으로 PATH에 잡혀서 PowerShell에서 곧장 부를 수 있죠.

설치 위치를 바꾸고 싶다면 설치 파일 실행 옵션으로 경로를 따로 줄 수도 있습니다.

이렇게 나오면 OK: PowerShell이나 cmd에서 ollama 명령이 바로 먹으면 됩니다. API는 기본값으로 http://localhost:11434 쪽에 열립니다.

Step 3: 첫 모델은 gemma3처럼 가볍게 시작

로컬 LLM Ollama 설치 뒤에 바로 큰 모델부터 당기면 오래 걸리고, 실패했을 때 어디서 꼬였는지도 흐려집니다. 저는 첫 확인용으로 가벼운 모델 하나를 먼저 돌리는 편입니다. 지금 공식 문서 흐름도 예전처럼 명령어만 던지는 게 아니라 ollama 메뉴에서 바로 고르게 바뀌었더라구요.

Step 4: API 확인하고 Codex나 Claude Code 붙일 준비 끝내기

로컬 LLM Ollama 설치를 굳이 하는 사람은 채팅창 하나 보려고 그러는 게 아니죠. Vibe Coding 쪽에선 결국 API가 열려야 다음 작업이 편해집니다. localhost 응답만 확인되면 편집기나 에이전트 도구 연결은 그다음 문제입니다.

Step 5: 느릴 때는 GPU와 context부터 보기

속도가 답답할 때 사람들은 모델만 탓하는데, 실제로는 CPU로만 올라간 경우가 꽤 있습니다. 기본 context window도 4096이라 무작정 크게 늘리면 메모리만 더 먹을 수 있구요. 저는 여기서 괜히 세게 올리기보다 현재 로드 상태부터 봅니다.

이렇게 나오면 OK: ollama ps 결과에서 Processor 열이 100% GPU 또는 CPU/GPU 혼합으로 보이면 적어도 어디에 올라갔는지는 확인된 상태입니다.

여기서 막히면 이것 확인: 전부 100% CPU로만 뜬다면 GPU 드라이버, VRAM 여유, 모델 크기부터 다시 보세요. 첫날부터 큰 모델 하나에 집착하면 시간만 많이 들어갑니다.

돈 감각으로 보면 더 선명하다

클라우드 AI를 계속 쓰는 쪽이 나쁜 선택은 아닙니다. 다만 매달 구독료를 내는 입장에선 자주 하는 요약, 초안 작성, 간단한 코드 보조 정도는 로컬로 돌리는 편이 심리적으로 편합니다. 대신 전기요금보다 먼저 체감되는 건 저장 공간이더라구요. SSD가 넉넉하지 않으면 모델 몇 개만 받아도 관리가 귀찮아집니다.

그래서 로컬 LLM Ollama 설치는 성능 욕심보다 생활 흐름에 맞춰 잡는 게 낫습니다. 매일 조금씩 쓰는 사람은 가벼운 모델 하나, 코드 작업까지 붙일 사람은 GPU 확인과 저장 위치 정리, 여기까지가 우선입니다.

이런 사람한텐 잘 맞는다

회사 문서를 외부 서비스에 계속 올리기 꺼려지는 사람, 구독료를 한 개라도 줄이고 싶은 사람, Codex나 Claude Code 같은 도구를 내 PC 모델이랑 붙여보고 싶은 사람에겐 Ollama가 꽤 괜찮습니다. 반대로 설치 직후 최고 성능만 기대하면 첫인상이 생각보다 밋밋할 수 있죠.

로컬 LLM Ollama 설치는 한 번만 차분하게 잡아두면 자주 손이 가고, 그다음부터는 모델보다 작업 습관이 더 중요해집니다.