로컬 GPU Ollama CUDA 인식 에러 해결하고 CPU 구동 탈출하기

2026-07-03

로컬 PC에서 오픈소스 AI를 돌릴 때 가장 당황스러운 순간은 그래픽카드가 놀고 있는 장면일 겁니다. 분명 Ollama를 설치하고 Llama3나 Mistral 모델을 실행했는데 CPU 점유율만 100%를 찍고 팬만 빠르게 돌면, 어디서부터 꼬였는지 감이 잘 안 오죠. 왜 비싼 NVIDIA 그래픽카드가 일하지 않고 CPU만 고생하는지 원인을 모르면 한참 헤매게 됩니다. 이 글에서는 Ollama가 GPU를 인식하지 못하고 CPU로만 돌아가는 원인과 해결 방법을 차근차근 정리해보겠습니다. 설정 파일과 환경 변수까지 건드리는 방법을 담았으니, 순서대로 따라오면 됩니다.

내 GPU는 왜 조용할까, 구동 여부부터 확인하기

가장 먼저 로컬 LLM이 정말 CPU로만 돌고 있는지 확인해야 합니다. 작업 관리자의 성능 탭을 열어 GPU 전용 메모리 사용량을 보는 방법이 가장 직관적입니다. 텍스트가 출력될 때 GPU의 3D나 Copy 항목 점유율이 0%에 가깝고 CPU 사용량만 요동친다면, 사실상 CPU 모드로 구동 중인 상태입니다. Ollama 자체 로그를 확인하면 더 분명하게 보이기도 합니다. 터미널 창을 열고 아래 명령어를 입력해보면 바로 상태를 확인할 수 있습니다.

출력 결과에서 모델명 옆 GPU 비율이 100%가 아니라 0%에 가깝거나 CPU로 표시된다면 바로 점검이 필요합니다. 정상 상태라면 그래픽카드 메모리(VRAM)에 모델 레이어가 올라간 모습이 보여야 합니다. 특히 구형 그래픽카드이거나 드라이버 버전이 꼬였을 때 이런 현상이 자주 나타납니다.

NVIDIA CUDA 드라이버 버전과 Ollama의 궁합 확인하기

Ollama가 그래픽카드를 쓰려면 NVIDIA의 CUDA 라이브러리와 정상적으로 통신해야 합니다. 윈도우 환경에서 가장 흔한 실수는 그래픽카드 드라이버가 너무 오래되었거나, 반대로 드라이버는 최신인데 Ollama가 그 환경을 제대로 따라가지 못하는 경우입니다. 제조사 공식 드라이버를 설치하지 않고 윈도우가 자동으로 잡아준 기본 디스플레이 드라이버를 쓰면 이런 오류가 납니다. 먼저 내 PC의 CUDA 지원 상태를 확인해야 합니다. 커맨드 라인에 아래 명령어를 입력해보면 정보를 바로 볼 수 있습니다.

여기서 CUDA Version 항목이 정상적으로 표시되는지 확인해야 합니다. 만약 명령어를 찾을 수 없다는 에러가 뜨거나 버전이 너무 낮게 나온다면 NVIDIA 공식 홈페이지에서 Game Ready Driver나 Studio Driver 최신 버전을 내려받아 설치해야 합니다. 드라이버 업데이트를 마친 뒤에는 반드시 PC를 재부팅해야 Ollama 백그라운드 서비스가 새 환경을 인식합니다.

윈도우 환경 변수에 Ollama 라이브러리 경로 강제 지정하기

드라이버를 새로 설치했는데도 여전히 CPU로만 도는 경우가 있습니다. 이때는 Ollama 엔진이 시스템 내부의 CUDA 실행 파일(.dll) 경로를 제대로 찾지 못하는 경우가 많습니다. 윈도우 고급 시스템 설정으로 들어가 직접 환경 변수를 등록하면 해결되는 경우가 있습니다. 시스템 변수 편집 창을 열고 아래처럼 변수명과 값을 추가해보면 됩니다.

변수 이름에는 OLLAMA_CUDA_PATH를 넣고, 값에는 CUDA 라이브러리가 설치된 실제 폴더 경로를 지정합니다. 보통은 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2\bin 같은 형태입니다. 본인 PC에 설치된 실제 버전에 맞춰 숫자를 바꿔야 정상 작동합니다. 이렇게 경로를 명시해두면 Ollama가 시작될 때 CUDA를 더 정확하게 찾을 수 있습니다.

AMD 그래픽카드와 인텔 내장 그래픽 혼선 피하는 설정

외장 그래픽이 달린 노트북이나 CPU 내장 그래픽이 함께 켜져 있는 PC에서도 오류가 자주 생깁니다. 시스템에 그래픽 장치가 여러 개 잡히면 Ollama가 전력 효율이 낮은 내장 그래픽을 기본 장치로 잡아버릴 수 있습니다. 심지어 AMD 라데온 그래픽카드를 쓰는 경우에는 NVIDIA 전용인 CUDA 설정과 충돌해서 에러를 겪기도 합니다. 이럴 때는 Ollama가 특정 GPU만 바라보도록 강제하는 편이 낫습니다. 윈도우 그래픽 설정 메뉴에서 Ollama.exe를 추가한 뒤, 옵션을 고성능으로 지정하면 도움이 됩니다.

추가로 시스템 변수에 OLLAMA_OVERRIDE_DRIVERS 같은 설정을 통해 장치 ID를 강제로 지정하는 방법도 고려해볼 수 있습니다. 이 변수를 활용하면 엉뚱한 곳으로 연산 요청이 가는 상황을 줄일 수 있습니다. 랩톱 사용자 중에서 조용히 CPU로만 모델이 돌아가던 사례의 상당수는 이 조치로 해결되기도 합니다.

수정한 설정 반영하고 로컬 LLM 속도 체감하기

모든 설정을 끝냈다면 터미널 창만 껐다 켜는 것으로는 부족합니다. 윈도우 우측 하단 시스템 트레이에 숨어 있는 Ollama 아이콘을 마우스 오른쪽 버튼으로 눌러 Quit을 선택해 완전히 종료해야 합니다. 그다음 다시 프로그램을 켜야 수정한 환경 변수가 엔진에 제대로 반영됩니다. 재시작이 끝났다면 다시 실행 명령어를 넣어봅니다.

질문을 던졌을 때 첫 글자가 나오는 속도가 눈에 띄게 짧아졌다면 성공한 셈입니다. CPU 모드에서는 초당 1~2토큰 수준에 머물던 속도가 GPU 가속을 타기 시작하면 훨씬 빠르게 올라가고, 출력도 한결 쾌적해집니다. 매달 비싼 클라우드 구독료를 내는 대신, 내 PC의 GPU를 제대로 쓰는 쪽이 훨씬 낫습니다.

Ollama GPU 연동 관련 자주 묻는 질문 3가지

Q. VRAM이 부족하면 어떻게 되나요? 보통 8GB 메모리 그래픽카드로 Llama3 8B 모델을 올리면 빡빡할 수 있습니다. 메모리가 부족하면 Ollama가 연산의 일부를 CPU로 넘기는 부분 할당을 수행하게 되고, 그만큼 성능은 떨어집니다. 가능하면 다른 무거운 프로그램을 끄거나 컨텍스트 크기를 낮춰 두는 편이 안전합니다.

Q. WSL2 환경을 쓰고 있는데 윈도우랑 연동이 되나요? WSL2 안에서 Ollama를 돌릴 계획이라면 윈도우 드라이버와 별개로 리눅스용 NVIDIA Container Toolkit을 설치해야 GPU 패스스루가 더 원활하게 작동합니다. 단순히 윈도우용 Ollama를 설치해두고 WSL2에서 API 포트만 가져다 쓰는 편이 오히려 덜 복잡할 수 있습니다.

Q. 맥북의 Apple Silicon GPU도 이 설정을 따라야 할까요? 맥북 M1, M2, M3 같은 통합 메모리 모델은 CUDA 관련 설정이 아예 필요 없습니다. macOS의 Metal API를 통해 별도 셋팅 없이도 Apple Silicon GPU 가속이 걸리므로 따로 손댈 부분이 많지 않습니다. 이 글의 핵심은 윈도우 환경의 NVIDIA 및 AMD 사용자에게 맞춰져 있습니다.