AI Chat Ollama로 로컬 LLM 설치하고 오프라인 AI 챗봇 만들기

내 컴퓨터에서 돌아가는 로컬 인공지능이 필요해졌다

요즘 클라우드 기반 AI 모델들이 워낙 똑똑하긴 하지만, 내 데이터를 마음대로 넘겨주기 껄끄러울 때가 많더라구요. 특히 회사 내부 코드나 민감한 개인 문서를 넣어서 돌릴 때는 항상 찝찝한 마음이 듭니다. 그래서 인터넷 연결이 완전히 끊겨도 단독으로 작동하는 나만의 로컬 LLM이 아주 요긴하더군요. 맥북이나 Windows PC 한 대만 있으면 내 하드웨어 자원만 써서 비용 걱정 없이 챗봇을 굴릴 수 있거든요. Ollama 로컬 LLM 설치를 한번 해두면 언제 어디서든 서버 비용 부담 없이 오프라인 환경에서도 AI를 활용할 수 있습니다.

원래는 터미널 명령어를 다뤄야 해서 진입 장벽이 좀 있었는데, 최근에는 설치와 설정 과정이 꽤 직관적으로 바뀌었더군요. 직접 PC에 올리고 챗봇 화면까지 띄우는 과정을 겪어보며 막혔던 부분 위주로 담백하게 풀어봅니다.

Step 1: Ollama 설치 파일 받고 실행하기

가장 먼저 Ollama 로컬 LLM 설치를 진행하려면 공식 사이트에 들어가서 설치 프로그램을 받아야 합니다. 맥OS나 Windows 중 본인의 운영체제에 맞는 파일을 내려받아 실행하면 자동으로 인스톨이 끝나더군요. 윈도우 유저는 설치 프로그램을 실행한 뒤 작업 표시줄 트레이 아이콘에 Ollama 모양이 떠 있는지 확인하면 셋업이 제대로 된 겁니다.

리눅스 환경을 쓰거나 터미널에서 한 번에 깔고 싶다면 위 명령어를 복사해서 붙여넣으면 설치가 진행됩니다. 설치가 끝나면 백그라운드에서 데몬이 자동으로 실행되는데, 이때 간혹 백신 프로그램이 이를 유해한 실행 파일로 오인해서 차단하는 바람에 먹통이 되는 일이 생기곤 하더라구요. 그럴 땐 백신 실시간 감시를 잠시 끄고 재설치하는 방식으로 다시 시도하면 됩니다.

Step 2: 로컬 LLM 모델 다운로드와 첫 구동

이제 터미널을 열고 우리가 사용할 실제 로컬 LLM 모델을 받아야 합니다. 요즘 가성비가 가장 잘 나오는 Llama 3 모델을 기준으로 설치 작업을 이어가겠습니다. 터미널 창에 아래 명령어를 그대로 입력하면 다운로드가 시작되거든요.

이 명령어는 8B 크기의 모델 파라미터를 내려받은 뒤 곧바로 실행까지 마치는 방식입니다. 용량이 대략 4.7GB 수준이라 네트워크 환경에 따라 2~3분 정도 걸릴 수 있습니다. 다운로드가 완료되고 터미널 창 맨 아래에 입력 커서가 깜빡거리면 기본 준비는 끝난 셈입니다. 바로 아무 질문이나 입력해서 답변이 나오는지 확인하면 됩니다.

Step 3: Open WebUI를 올려서 웹 화면으로 쓰기

매번 검은색 터미널 화면에 들어가서 타이핑하는 방식은 솔직히 적응하기 힘들고 눈도 피로하더군요. ChatGPT나 Claude처럼 깔끔한 인터페이스를 붙여야 비로소 일상적으로 쓸 만한 도구가 됩니다. 이럴 땐 도커를 활용해 Open WebUI 컨테이너를 띄우는 편이 제일 깔끔하고 유지보수하기도 수월하더라구요.

도커가 깔려 있는 터미널에서 위 명령어를 복붙하면 포트 3000번으로 웹 UI가 열리게 됩니다. 웹 브라우저 주소창에 localhost:3000을 입력하고 접속한 다음, 이메일과 패스워드를 대충 만들어 가입하면 익숙한 챗봇 환경을 만날 수 있습니다. 상단 모델 선택창에서 아까 받아둔 llama3 모델을 고르면 인터넷 연결 없이 돌아가는 Ollama 로컬 LLM 설치 작업이 최종적으로 끝납니다.

자주 발생하는 포트 충돌과 연결 실패 대처법

설치 과정에서 가장 흔한 트러블은 11434 포트가 이미 점유되어 오류가 뜨는 경우입니다. Ollama가 이미 백그라운드 프로세스로 돌아가고 있는데 사용자가 터미널에서 중복 실행을 시도할 때 자주 이런 증상이 나오더군요. 이때는 아래 명령어로 실행 중인 올라마 프로세스를 먼저 종료해야 다시 작동합니다.

윈도우의 경우에는 작업 관리자에서 Ollama 프로세스를 찾아서 작업 끝내기를 해주면 해결됩니다. 또한 Open WebUI가 올라마 데몬을 찾지 못해 연결 에러를 뿜는 일도 잦은데요. 도커 명령어 안에 들어간 host.docker.internal 설정이 누락되거나 방화벽이 외부 통신을 차단해서 생기는 문제이므로 네트워크 세팅을 다시 확인해봐야 합니다.

실제로 써보며 느낀 속도와 전기세 수준

맥북 M2나 M3 메모리 16GB 이상 모델에서는 8B 크기 모델이 꽤 쾌적한 속도로 응답을 내주더군요. 반면 그래픽카드가 없는 윈도우 사무용 노트북에서는 답변이 한 줄씩 기어 나오듯 느려서 현실적으로 사용하기 곤란한 경험을 했습니다. 로컬 LLM 구동은 결국 그래픽 메모리 용량과 대역폭 싸움이라는 점을 온몸으로 체감하게 된 계기였습니다.

특히 고성능 GPU를 탑재한 데스크톱에서 하루 종일 돌리면 그래픽카드 팬 소리와 함께 전기세 걱정이 슬슬 밀려오기 시작합니다. 전기세 부담이 가중되는 고사양 환경이라면 필요할 때만 Ollama 데몬을 켜고 작업을 마치면 바로 프로세스를 내려주는 수동 컨트롤 습관을 들이는 것이 낫더라구요.

자신의 로컬 환경에 완전히 격리된 개인 맞춤형 인공지능을 가졌다는 심리적 안정감은 생각보다 큽니다. Ollama 로컬 LLM 설치 과정을 통해 매달 내야 하는 클라우드 구독료 걱정 없이 편하게 테스트해 볼 수 있는 점도 매력적입니다. 다음에는 로컬 LLM에 내 개인 PDF 폴더를 통째로 인식시켜 지식 창고로 쓰는 RAG 셋업을 다뤄볼 생각입니다.