윈도우 Ollama 설치, 로컬 AI 처음 켤 때 덜 막히는 순서

웹앱 말고 내 PC에서 돌리고 싶을 때

윈도우 Ollama 설치를 찾는 사람은 대개 브라우저 탭 하나 더 여는 게 아니라, 내 PC에서 바로 돌아가는 로컬 AI를 원하죠. 2026년 기준 Ollama는 Windows 10 22H2 이상에서 설치할 수 있고, 설치가 끝나면 백그라운드에서 돌아가면서 ollama 명령과 http://localhost:11434 API를 바로 씁니다. 제가 이걸 크게 보는 이유는 단순합니다. 매달 구독료 내는 입장에선 기능표보다 저장공간이랑 속도가 먼저 체감되거든요.

로컬만 돌릴 거면 Free가 $0이라서 월 과금이 바로 붙지 않구요. Cloud 모델을 같이 쓰는 플랜은 Pro $20, Max $100인데, 처음 윈도우 Ollama 설치하는 날엔 이 숫자보다 SSD 여유 공간이 더 현실적으로 다가옵니다.

Step 1: 깔기 전에 운영체제와 용량부터 본다

윈도우 Ollama 설치 전에 볼 건 세 가지면 충분합니다. 운영체제 버전, 디스크 여유 공간, 그래픽 드라이버예요.

Step 2: PowerShell 한 줄로 설치 끝내기

가장 간단한 길은 PowerShell 한 줄입니다. 관리자 권한이 꼭 필요한 구조가 아니라서 생각보다 부담이 적어요.

설치가 끝나면 Ollama가 백그라운드에 떠 있고, 새 PowerShell 창에서 ollama를 치면 인터랙티브 메뉴가 열립니다. 이렇게 나오면 OK. 메뉴가 안 뜨면 터미널만 닫지 말고 새 창을 다시 열어보세요. PATH 반영이 늦는 경우가 있거든요.

Step 3: 첫 모델을 받아서 대화가 되는지 본다

설치만 끝내고 멈추면 반쪽입니다. 실제로 모델 하나를 내려받아야 윈도우 Ollama 설치가 제대로 끝나요.

처음 실행은 다운로드 시간이 좀 걸립니다. 텍스트가 줄줄 내려오고 마지막에 바로 질문을 칠 수 있으면 정상이에요. 여기서 멈추면 네트워크보다 디스크 공간을 먼저 보세요. 로컬 AI는 첫날부터 용량 감각이 꽤 세게 옵니다.

Step 4: C드라이브 답답하면 모델 저장 위치 바꾸기

노트북 SSD가 256GB 안팎이면 이 단계가 거의 필수입니다. 설치 폴더와 모델 폴더는 따로 생각하는 게 편해요.

설치 위치는 /DIR 옵션으로, 모델 저장 위치는 사용자 환경 변수 OLLAMA_MODELS로 바꿉니다. 바꾼 뒤에는 tray의 Ollama를 완전히 종료한 다음 다시 켜야 반영돼요. 여기서 막히면 새 터미널만 여는 걸로는 부족할 때가 있습니다.

Step 5: localhost API까지 열렸는지 확인

앱처럼만 쓸 거면 여기까지 안 봐도 되지만, 나중에 VS Code 확장이나 개인 스크립트 붙일 생각이면 지금 확인해두는 편이 덜 귀찮습니다.

응답 JSON이 돌아오면 OK. 로컬 API도 살아 있다는 뜻입니다. 에러가 뜨면 Ollama가 tray에서 실제로 실행 중인지 보고, 회사 보안 프로그램이 localhost 요청을 막는지도 같이 보시면 돼요.

Step 6: 코딩 도구까지 붙일 사람은 여기서 갈린다

요즘 Ollama가 예전보다 더 재미있는 건 모델 실행기에서 끝나지 않는다는 점입니다. quickstart 기준으로 Claude Code, Codex 같은 도구를 바로 띄우는 메뉴가 들어와 있거든요.

여기서부터는 메모리와 context length를 보게 됩니다. context length는 한 번에 들고 가는 작업량 정도로 보면 되는데, web search나 agent, coding tools를 길게 돌릴 땐 64K 이상이 권장됩니다. 메모리 작은 PC라면 윈도우 Ollama 설치보다 그다음 세팅에서 체감 차이가 더 크게 납니다.

막상 써보면 남는 건 이것

윈도우 Ollama 설치는 어렵다기보다 순서를 잘못 잡아서 꼬이는 경우가 많습니다. 설치 명령보다 먼저 운영체제 버전과 디스크를 보고, 설치가 끝나면 첫 모델 실행과 API 응답까지 확인하면 훨씬 덜 헤매요. 로컬 AI 입문용으로는 아직 이 조합이 꽤 편한 편입니다.