로컬 AI Ollama Windows 설치, 첫 채팅까지 10분 순서

로컬 AI Ollama Windows 설치, 왜 이걸 지금 많이 찾나

Ollama Windows 설치를 찾는 사람은 대개 비슷합니다. ChatGPT나 Claude 구독은 이미 써봤는데, 매달 돈이 나가거나 회사 자료를 웹에 올리기 꺼려져서 로컬 LLM 쪽으로 눈이 가는 경우가 많더라구요.

2026년 기준 Ollama는 Windows 10 22H2 이상에서 돌아가고, 설치가 끝나면 백그라운드에서 바로 켜지면서 `http://localhost:11434` API도 같이 열립니다. 저는 이 점이 꽤 컸습니다. 채팅 한 번 해보고 끝나는 도구가 아니라, 나중에 API 호출이나 코딩 도구 연결로 자연스럽게 이어지거든요.

근데 여기서 많이 막힙니다. 설치 버튼까지는 쉬운데, 첫 모델을 뭘 받는지, 저장 공간을 어디에 둘지, 터미널에서 뭐가 보여야 정상인지가 헷갈리죠.

Step 1: 내 PC에서 바로 되는지 먼저 본다

Ollama Windows 설치 전에 이것부터 보는 편이 낫습니다. 바이너리만 최소 4GB 정도가 필요하고, 모델은 몇 GB에서 수십 GB까지 금방 커집니다. 구독료 아끼려고 로컬로 넘어왔는데 C드라이브가 꽉 차면 시작부터 기분이 안 좋습니다.

이렇게 나오면 OK Windows 10 22H2 이상이 보이고, C드라이브나 모델을 둘 드라이브에 여유 공간이 넉넉하면 됩니다.

여기서 막히면 구버전 Windows이거나 저장 공간이 빠듯한 경우가 많습니다. 그럴 땐 설치부터 밀어붙이지 말고, 모델 저장 위치를 D드라이브로 둘 생각부터 해두면 덜 꼬입니다.

Step 2: 설치는 가볍게, 확인은 터미널에서

Ollama Windows 설치 자체는 어렵지 않습니다. 기본 설치는 관리자 권한이 없어도 되고, 보통은 홈 디렉터리에 들어갑니다. 설치 경로를 따로 잡고 싶으면 옵션만 하나 주면 끝나구요.

이렇게 나오면 OK 버전 문자열이 출력되면 PATH까지 정상으로 잡힌 겁니다. 트레이에 Ollama 아이콘이 보이는지도 같이 보면 마음이 편합니다.

여기서 막히면 설치는 됐는데 `ollama`를 못 찾는 경우가 있습니다. 새 PowerShell 창을 다시 열어보고, 그래도 안 되면 설치가 덜 끝난 경우가 많습니다.

Step 3: 첫 모델은 gemma3로 시작하는 편이 편하다

처음부터 무거운 모델로 달리면 체감이 안 좋습니다. 일단은 다운로드가 무난하고 반응 확인이 쉬운 `gemma3`부터 올리는 쪽이 덜 답답했습니다. Ollama Windows 설치 뒤에 가장 빨리 손에 잡히는 확인 방법도 이 단계구요.

이렇게 나오면 OK `pull`이 끝난 뒤에 채팅 프롬프트가 열리고, `ollama ls`에서 방금 받은 모델이 보이면 정상입니다. 여기서 한두 문장만 쳐봐도 됩니다.

여기서 막히면 다운로드가 너무 느리거나 멈춘 것처럼 보일 때가 있습니다. 네트워크 문제도 있지만, 저장 공간 부족이나 보안 프로그램이 끼는 경우도 꽤 있습니다. 진행 바 문자가 네모로 깨지면 폰트 문제인 경우가 많아서 그건 크게 신경 안 써도 됩니다.

Step 4: 브라우저 말고 API부터 한 번 찍어본다

로컬 LLM을 쓰는 이유가 채팅창 하나 더 늘리려는 건 아니잖아요. 메모 앱, 사내 도구, 간단한 자동화에 붙일 수 있어야 진짜 쓸모가 생깁니다. 그래서 저는 첫 채팅 다음에 바로 API를 한 번 찍어봅니다.

이렇게 나오면 OK `response` 필드에 답변 텍스트가 내려오면 됩니다. 이 한 번이 되면 나중에 Python, JavaScript, 노코드 자동화로 붙일 때 훨씬 덜 막힙니다.

여기서 막히면 `localhost:11434`가 안 열렸거나 Ollama 프로세스가 꺼진 경우가 많습니다. 트레이 앱이 살아 있는지 먼저 보고, 안 보이면 다시 실행하면 됩니다.

Step 5: C드라이브가 답답하면 모델 위치부터 옮긴다

로컬 LLM은 설치보다 모델이 공간을 먹습니다. 노트북 기본 SSD가 256GB나 512GB인 경우가 많아서, 며칠 쓰다 보면 여기서 숨이 막혀요. Ollama Windows 설치 뒤에 오래 쓸 생각이면 이 단계는 거의 필수라고 봅니다.

이렇게 나오면 OK 명령 실행 뒤에 Ollama를 완전히 종료하고 다시 열었을 때, 새로 받는 모델이 지정한 폴더로 들어가면 됩니다.

여기서 막히면 기존에 켜져 있던 Ollama가 예전 경로를 계속 물고 있는 경우가 많습니다. 트레이에서 종료한 뒤 다시 켜야 반영됩니다.

Step 6: 코딩 도구까지 붙일 거면 여기서 갈린다

요즘 Ollama는 채팅만 하는 앱이 아닙니다. `ollama launch`로 Claude Code, Codex 같은 도구 연결까지 바로 이어집니다. 다만 여기서 욕심내면 하드웨어 한계가 바로 드러납니다. 공식 예시로 나온 `glm-4.7-flash`는 약 23GB VRAM을 보는 쪽이라서, 일반 노트북이면 처음부터 그 모델을 노리기보다 가벼운 모델로 감 잡는 편이 낫습니다.

이렇게 나오면 OK 통합 목록이 뜨고, 연결할 도구와 모델을 고르는 화면으로 넘어가면 됩니다.

여기서 막히면 모델이 너무 크거나 컨텍스트 길이를 높게 잡아서 버거운 경우가 많습니다. 처음엔 대화형 확인부터 끝내고, 코딩 모델은 나중에 올리는 편이 덜 지칩니다.

마지막으로 딱 하나만

Ollama Windows 설치는 생각보다 빨리 끝나지만, 진짜 차이는 설치 뒤 10분에 납니다. `ollama run`으로 한 번 답을 받고 `localhost:11434`까지 확인해두면, 그때부터는 로컬 AI가 장난감이 아니라 작업 도구가 됩니다.