Ollama Qwen3 사용법, CLI로 로컬 AI 첫 채팅 열기

2026-05-30

로컬 AI는 모델 고르기보다 저장 위치부터 잡아야 덜 꼬입니다

로컬 AI를 처음 만질 때 많은 사람이 성능표부터 봅니다. 그런데 Windows에서는 그 전에 정할 게 하나 있습니다. 어디에 설치하고, 모델 파일을 어디에 쌓을지입니다. Ollama는 실행 자체는 간단한 편이지만 기본 경로로 시작했다가 C드라이브가 빠듯해지면 다시 옮기는 과정이 더 번거롭습니다. 초안 정리, 코드 설명, 문서 요약처럼 반복 작업을 내 PC에서 처리하고 싶다면 첫 단추를 저장 공간 쪽에서 끼우는 편이 낫습니다.

이 글은 Windows PowerShell 기준으로 설명합니다. 브라우저에서 가입만 하고 끝나는 서비스가 아니라 한 번은 명령을 직접 확인해야 다음 단계가 편해지기 때문입니다. 순서는 단순합니다. 설치 위치를 정하고, 모델 폴더를 먼저 분리하고, Qwen3로 채팅을 열고, 마지막으로 localhost API까지 확인하면 됩니다. 이 흐름만 잡아두면 다른 모델로 바꿀 때도 크게 헤매지 않습니다.

Step 1: 설치 전에 디스크 여유와 설치 위치부터 정하기

Windows 10 22H2 이상이면 시작할 수 있고, GPU를 붙여 쓸 생각이면 드라이버 상태도 같이 보는 편이 좋습니다. 프로그램 본체보다 이후에 내려받는 모델 용량이 더 빨리 커지기 때문에 설치 버튼을 누르기 전에 어느 드라이브를 쓸지 정해두는 게 좋습니다. C드라이브가 넉넉하면 기본 경로로 가도 되지만, 이미 용량이 빠듯한 PC라면 처음부터 분리하는 쪽이 편합니다.

둘째 줄은 설치 위치를 따로 둘 때만 쓰면 됩니다. 실행 파일만 놓고 보면 큰 프로그램처럼 안 보일 수 있지만, 실제로는 이후에 모델이 몇 GB 단위로 붙습니다. 그래서 Ollama 사용법을 찾을 때도 설치 버튼보다 저장 계획을 먼저 보는 편이 낫습니다. 처음 경로를 잘 잡아두면 나중에 다른 로컬 LLM을 추가할 때도 구조가 그대로 유지됩니다.

Step 2: 모델 폴더는 미리 빼두는 편이 훨씬 깔끔합니다

초기 세팅에서 가장 아쉬운 장면은 기본 경로에 몇 GB를 받은 뒤에야 공간 부족을 알아차리는 경우입니다. 이럴 때는 모델 저장 경로를 먼저 바꿔두는 게 단순합니다. 환경 변수 하나로 정리되기 때문에 복잡한 이전 작업보다 부담이 적습니다.

이 명령을 넣은 뒤에는 트레이 앱을 완전히 종료하고 다시 띄우는 편이 안전합니다. PowerShell 창도 새로 열어야 바뀐 값이 바로 반영됩니다. 경로를 바꿨는데도 예전 위치에 계속 파일이 생기면 대부분 재시작이 덜 된 경우입니다. 이 단계에서 폴더 위치만 정리해도 이후에 5.2GB나 19GB급 모델을 받을 때 훨씬 마음이 편합니다.

Step 3: Qwen3로 첫 채팅을 열어보면 감이 바로 옵니다

이제 실제 모델을 실행할 차례입니다. Qwen3는 작은 크기부터 큰 크기까지 선택 폭이 분명해서 첫 모델로 설명하기 좋습니다. 용량과 성능을 한 번에 다 챙기려 하기보다, 먼저 대화가 열리는지 확인한 뒤 필요한 크기로 옮겨가는 방식이 덜 부담스럽습니다.

처음 실행할 때는 다운로드 시간이 걸리지만, 한 번 받아두면 터미널 안에서 바로 대화를 이어갈 수 있습니다. 저장 공간이나 메모리가 넉넉하지 않다면 0.6b나 1.7b부터 열어보는 쪽이 좋습니다. 반대로 너무 가벼운 모델이 아쉽다면 기본 태그로 넘어가면 됩니다. 같은 도구 안에서 폭이 넓다는 점이 시작용으로 편한 이유입니다.

모델 태그	대략 용량	이럴 때
qwen3:0.6b	523MB	설치 확인만 빨리 하고 싶을 때
qwen3:1.7b	1.4GB	가벼운 로컬 AI 채팅부터 볼 때
qwen3	5.2GB	처음 써도 너무 약하지 않은 기본값이 필요할 때
qwen3:30b	19GB	GPU와 저장 공간이 넉넉할 때

표처럼 시작하면 선택이 단순해집니다. 523MB는 설치 흐름 확인용, 1.4GB는 가볍게 대화해보는 용도, 5.2GB는 기본값, 19GB는 장비 여유가 있을 때로 보면 됩니다. 숫자를 먼저 알고 들어가면 다운로드가 중간에 멈췄을 때도 어디서 계획이 틀어졌는지 바로 보입니다.

Step 4: PowerShell에서 API까지 확인해두면 다음 작업이 쉬워집니다

터미널에서 채팅만 열어보고 끝내면 나중에 메모 자동화나 간단한 앱 연결 단계에서 다시 멈추는 경우가 있습니다. 기본 API 주소는 http://localhost:11434/api라서 PowerShell에서 한 번 확인해두면 이후 작업이 훨씬 단순해집니다.

응답 JSON이 내려오면 채팅 화면 없이도 로컬 API가 준비된 상태입니다. 여기까지 확인해두면 문서 요약 스크립트, 간단한 사내 도구 초안, 블로그 보조 작업처럼 텍스트를 주고받는 흐름을 붙이기 쉬워집니다. 매달 호출 비용이 아쉬운 사람에게도 이 단계는 방향을 잡아주는 확인선이 됩니다.

Step 5: 안 열릴 때는 재설치보다 로그와 폴더부터 확인하기

명령어가 반응하지 않거나 모델 목록이 비어 보이면 다시 설치부터 반복할 필요는 없습니다. Windows에서는 먼저 로그 위치와 폴더 구성을 확인하는 편이 빠릅니다.

첫 번째 폴더에는 server.log와 app.log가 있고, 두 번째에는 실행 파일, 세 번째에는 모델과 설정이 들어갑니다. 환경 변수를 바꿨는데 모델 위치가 그대로라면 트레이 앱이 살아 있었을 가능성이 큽니다. PowerShell 화면에 네모 상자가 보이면 글꼴 문제일 때도 있어서, 저장 경로와 로그를 먼저 본 뒤 화면 표시를 따로 보는 순서가 덜 헷갈립니다.

처음 시작하는 사람에게 필요한 건 복잡한 튜닝이 아니라 순서입니다. 설치 위치를 정하고, 모델 폴더를 분리하고, Qwen3 작은 태그로 채팅을 열고, localhost API 응답까지 확인하면 다음 단계로 넘어갈 준비가 됩니다. 다시 헷갈릴 때는 Windows 안내, quickstart, api introduction, qwen3 library 순서로만 훑어도 어디서 막혔는지 금방 찾을 수 있습니다.