CUDA SD WebUI 메모리 부족 오류 해결법

2026-06-29

그래픽카드 업그레이드 없이 Stable Diffusion WebUI 오류 고치기

WebUI로 고화질 이미지를 만들거나 업스케일링을 돌려보려고 하면 어김없이 튀어나오는 게 CUDA out of memory 오류입니다. 진짜 짜증나죠. 2026년 지금도 8GB 이하 저사양 그래픽카드에서는 이 오류 때문에 제대로 작업하기가 쉽지 않습니다. 그렇다고 그래픽카드를 당장 바꿀 수 없다면, 설정 파일 몇 줄을 손보는 쪽이 훨씬 현실적인 해결책입니다.

Stable Diffusion WebUI가 GPU 메모리를 어떻게 쓰는지 조금만 이해하면 이 문제를 꽤 많이 줄일 수 있습니다. WebUI 실행 옵션인 xformers나 medvram, lowvram 같은 인자값이 어떻게 동작하는지도 같이 짚어 보겠습니다.

오류 1: OutOfMemoryError CUDA out of memory

webui-user.bat을 실행하자마자, 또는 이미지 생성이 99%쯤에서 멈추면서 OutOfMemoryError가 뜨는 경우가 가장 흔합니다. 이건 그래픽카드가 감당할 수 있는 물리적인 VRAM 한계를 넘겼을 때 발생합니다. 특히 고해상도 이미지를 생성하거나 배치 사이즈를 늘리면 바로 마주치기 쉽습니다. 이럴 때는 실행 인자에 메모리 절약 옵션을 강제로 넣어 주는 편이 좋습니다. 텍스트 에디터로 webui-user.bat 파일을 열고 COMMANDLINE_ARGS 부분을 아래처럼 수정해 보세요.

VRAM이 4GB 이하로 아주 낮다면 medvram 대신 lowvram을 넣는 게 맞습니다. 이렇게 하면 속도는 조금 느려지지만 배치 처리 자체는 훨씬 안정적으로 돌아갑니다.

오류 2: RuntimeError Torch not compiled with CUDA enabled

WebUI를 켰는데 터미널에 RuntimeError Torch not compiled with CUDA enabled 메시지가 뜨는 경우입니다. 이건 그래픽카드 드라이버가 꼬였거나 PyTorch 패키지가 CPU 전용으로 잘못 설치됐을 때 나타납니다. 이럴 때는 기존 가상환경을 지우고 다시 설치하는 게 가장 빠릅니다. 아래 명령어로 가상환경 안에서 올바른 CUDA 버전의 PyTorch를 다시 설치해 주세요.

재설치가 끝나면 CUDA 가속이 정상적으로 잡히는지 확인할 수 있습니다.

오류 3: NansException A tensor with all NaNs was produced

이미지가 거의 다 생성되었다가 마지막 순간에 완전히 까만 화면으로 저장되는 오류입니다. 터미널 로그를 보면 NansException A tensor with all NaNs was produced 에러가 기록돼 있을 가능성이 큽니다. 주로 반정밀도 fp16 연산을 수행할 때 수치적 한계 때문에 값이 깨지면서 생깁니다. 해결법은 VAE 연산이나 모델 연산을 fp32 정밀도로 강제하는 옵션을 추가하는 것입니다. COMMANDLINE_ARGS 설정 뒤에 아래 인자들을 덧붙여 주세요.

이렇게 하면 검은 화면 대신 정상적인 이미지가 출력됩니다.

오류 4: RuntimeError addmm_impl_cpu_ not implemented for Half

구형 GTX 계열 그래픽카드에서 종종 발생하는 addmm_impl_cpu_ 관련 오류입니다. fp16 연산을 지원하지 않는 하드웨어인데 WebUI가 half precision 연산을 시도하면서 멈추는 구조입니다. 이 경우에도 연산 정밀도를 강제로 낮추지 않도록 설정하면 해결됩니다. webui-user.bat의 아규먼트에 --precision full과 --no-half 옵션을 함께 넣어 두는 게 안전합니다.

다만 이렇게 하면 생성 속도가 꽤 느려진다는 점은 감수해야 합니다.

VRAM 부족을 겪으면서 맞춰 본 세팅값

직접 8GB짜리 RTX 4060 Laptop 환경에서 돌려보니 VRAM 관리가 생각보다 빡빡했습니다. 이미지 크기를 기본 512에서 1024로 조금만 올려도 바로 오류가 나면서 멈추는 일이 생기더군요. 그래서 medvram 옵션은 거의 반필수처럼 켜 두고 쓰는 중입니다. 속도는 조금 느려지지만, 중간에 멈추는 불쾌한 상황은 확실히 줄어듭니다.

고화질 모델 시대의 생존 전략

2026년 현재 나오는 실사 모델이나 SDXL, SD3 계열은 요구 사양이 한층 더 올라갔습니다. 저사양 그래픽카드로 억지로 버티다 보면 성능 한계가 점점 더 또렷하게 느껴집니다. 본격적으로 사용해 볼 생각이라면 VRAM 12GB나 16GB 제품으로 가는 것도 충분히 고민해 볼 만합니다.

오늘 정리한 4가지 오류 조치법만 잘 적용해 두면, 에러 때문에 붉은 글씨를 보는 일은 확 줄어듭니다. 세팅을 잘 맞춰서 막힘없이 원하는 결과물을 뽑아 보시길 바랍니다.