IT·생활 꿀팁

내 PC에 로컬 AI 설치하기: Ollama 설치부터 VRAM별 모델 선택까지

블로그 작업을 도와줄 AI를 내 PC에서 직접 돌려 보려고 Ollama를 설치했습니다. 설치 자체는 어렵지 않았지만, 모델이 엉뚱한 드라이브에 저장되거나 첫 실행 속도가 이상하게 느린 등 실제로 해 보니 안내 글에 잘 나오지 않는 부분에서 몇 번 막혔습니다.

이 글은 설치 순서와 함께, 그래픽카드 메모리(VRAM)에 맞는 모델 고르는 법, 그리고 막혔던 문제와 해결 방법을 실제 수치와 함께 정리한 기록입니다. (2026년 10월, Ollama 0.40.3 기준)

사용한 PC 환경

항목 사양
CPU AMD Ryzen 7 5800X
RAM 32GB DDR4-3200
그래픽카드 NVIDIA RTX 3080 12GB (드라이버 595.97)
저장장치 C: NVMe 1TB (윈도우), D: NVMe 1TB (모델 저장용)
운영체제 Windows 11

1. 내 그래픽카드로 어떤 모델을 돌릴 수 있나

로컬 AI에서 가장 중요한 것은 그래픽카드 메모리(VRAM) 입니다. 모델 전체가 VRAM 안에 들어가야 빠르게 동작하고, 넘치면 속도가 크게 떨어집니다.

필요한 VRAM은 대략 모델 파일 크기 + 대화 길이(컨텍스트)용 여유분입니다. 일반적으로 많이 쓰는 4비트 양자화(Q4) 모델 기준으로 정리하면 다음과 같습니다.

VRAM 무리 없이 돌릴 수 있는 크기
8GB 7~8B급
12GB 12~14B급 (이번에 사용)
16GB 20~24B급
24GB 27~32B급

주의할 점이 하나 있습니다. 그래픽카드가 모니터 출력도 같이 맡고 있으면 바탕화면과 열려 있는 앱이 VRAM 일부를 씁니다. 제 PC는 아무것도 안 할 때도 약 0.6GB를 쓰고 있어서, 실제로 쓸 수 있는 VRAM은 12GB가 아니라 약 11.5GB였습니다.

nvidia-smi 대기 상태 - VRAM 604MiB 사용

2. 모델 고르기: 실제로 두 개를 비교해 봤습니다

12GB에 들어가는 모델 중 한국어를 지원하는 두 모델을 같은 질문으로 시험했습니다. 질문은 “윈도우 11 부팅 속도 개선 방법을 1500자 블로그 글로 써줘”였습니다.

항목 qwen3:14b gemma3:12b
모델 크기 9.3GB 8.1GB
생성 속도 73.4 토큰/초 75.6 토큰/초
한국어 중국어 단어가 섞임 (“任务 관리자”) 자연스러움
분량 요청보다 짧음 요청보다 김

속도는 거의 같았고, 한국어 문장은 gemma3:12b가 확실히 자연스러웠습니다.

다만 두 모델 모두 사실 오류가 있었습니다. 윈도우 설정 메뉴 경로를 틀리게 적거나, 존재하지 않는 기능을 설명하기도 했습니다. 이 크기의 로컬 모델이 쓴 글은 그대로 쓰면 안 되고, 반드시 사람이 확인해야 합니다. 저는 로컬 AI를 본문 작성이 아니라 제목 후보, 요약, 태그 만들기처럼 결과를 바로 눈으로 확인할 수 있는 작업에 쓰고 있습니다.

모델을 고를 때 하나 더 확인할 것은 라이선스입니다. 모델마다 상업적 이용 조건이 다르므로, 블로그나 업무처럼 수익과 연결된 곳에 쓸 예정이면 모델 페이지에서 라이선스를 먼저 확인하세요.

3. 설치 전에: 모델 저장 위치부터 정하기

Ollama는 기본적으로 모델을 C드라이브의 사용자 폴더(C:\Users\사용자이름\.ollama\models)에 저장합니다. 모델 하나가 8~10GB라서 몇 개만 받아도 C드라이브가 금방 찹니다.

저는 D드라이브에 저장하도록 설치 전에 환경변수를 지정했습니다. PowerShell에서 실행합니다.

New-Item -ItemType Directory -Path "D:\Ollama\models" -Force
[Environment]::SetEnvironmentVariable("OLLAMA_MODELS", "D:\Ollama\models", "User")
[Environment]::SetEnvironmentVariable("OLLAMA_CONTEXT_LENGTH", "8192", "User")
  • OLLAMA_MODELS: 모델 저장 위치
  • OLLAMA_CONTEXT_LENGTH: 한 번에 다룰 수 있는 대화 길이. 길수록 VRAM을 더 씁니다. 12GB에서 14B 모델을 쓴다면 8192 정도가 적당했습니다.

4. Ollama 설치

  1. ollama.com에서 Windows용 설치 파일을 받아 실행합니다.
  2. 설치가 끝나면 작업 표시줄 오른쪽 아래 Ollama 아이콘을 우클릭해 Quit 한 뒤, 시작 메뉴에서 Ollama를 다시 실행합니다.
  3. PowerShell 창을 새로 열고 설치를 확인합니다.
ollama --version
ollama list

2번 과정이 중요합니다. 이걸 빼먹어서 제가 다음 단계에서 문제를 겪었습니다.

참고로 내 PC에서 모델을 돌리는 데는 회원가입이 필요 없습니다. 다만 모델 이름에 :cloud가 붙은 것은 내 PC가 아니라 Ollama 서버에서 실행되므로, 입력한 내용이 외부로 나갑니다. 로컬에서만 쓰려면 이런 모델은 피하세요.

5. 모델 받기와 제가 겪은 문제: 모델이 C드라이브에 저장됨

ollama pull qwen3:14b

처음 받은 모델은 qwen3:14b였습니다. 다운로드는 정상적으로 끝났는데, D드라이브 폴더 용량을 확인해 보니 0GB였습니다. 모델이 C드라이브 기본 위치에 저장된 것이었습니다.

모델을 받았지만 D드라이브 폴더는 0.0 GB

원인: 설치 직후 Ollama가 자동으로 실행되는데, 이때는 방금 지정한 환경변수를 아직 읽지 못한 상태입니다. 그래서 기본 위치에 저장됩니다.

해결: 다시 받을 필요 없이 파일을 옮기면 됩니다. Ollama를 완전히 종료한 뒤 옮깁니다.

# 1. Ollama 완전 종료 (트레이 아이콘에서 Quit 후 실행)
Get-Process -Name "ollama*" -ErrorAction SilentlyContinue | Stop-Process -Force

# 2. 모델 파일을 D드라이브로 이동
$src = "$env:USERPROFILE\.ollama\models"
$dst = "D:\Ollama\models"
Move-Item "$src\blobs"     $dst -Force
Move-Item "$src\manifests" $dst -Force

그다음 시작 메뉴에서 Ollama를 다시 실행하고, 새 PowerShell 창에서 ollama list를 실행했을 때 모델이 보이면 성공입니다.

용량을 확인할 때 숫자가 다르게 보여도 놀랄 필요는 없습니다. Ollama는 9.3GB로 표시했는데 PowerShell로 계산하니 8.6GB가 나왔습니다. 둘이 1GB를 계산하는 기준(10억 바이트와 1,073,741,824바이트)이 달라서 생기는 차이일 뿐, 같은 크기입니다.

6. 그래픽카드에서 제대로 돌고 있는지 확인하기

모델을 실행할 때 --verbose를 붙이면 마지막에 속도가 표시됩니다.

ollama run gemma3:12b --verbose "윈도우 11 부팅 속도를 개선하는 팁을 블로그 글 제목 5개로 추천해줘"

다른 PowerShell 창에서 ollama ps를 실행하면 모델이 어디에 올라가 있는지 보입니다.

ollama ps

PROCESSOR 항목이 100% GPU 이면 모델 전체가 그래픽카드에 올라간 정상 상태입니다. CPU/GPU가 섞여 표시되면 VRAM이 부족해 일부가 CPU로 넘어간 것이고, 속도가 크게 떨어집니다.

ollama ps 결과 - 100% GPU

첫 실행이 유난히 느렸던 이유

처음 qwen3:14b를 실행했을 때 생성 속도가 12.95 토큰/초로, 기대보다 훨씬 느렸습니다. 같은 명령을 다시 실행하니 73.36 토큰/초가 나왔습니다. 모델을 처음 그래픽카드에 올린 직후에는 초기화 작업이 섞여 느리게 측정되는 것으로 보입니다. 속도를 비교할 때는 두 번째 실행 결과를 기준으로 하세요.

또 Ollama는 기본적으로 5분 동안 쓰지 않으면 모델을 VRAM에서 내립니다. 그래서 한동안 쉬었다가 처음 질문할 때는 다시 올리는 시간이 걸립니다.

7. VRAM이 넘칠 때 몰래 느려지는 것 막기

NVIDIA 드라이버는 VRAM이 부족하면 오류를 내지 않고 시스템 메모리(RAM)를 빌려 씁니다. 이때 ollama ps에는 여전히 100% GPU로 나오는데 실제 속도는 크게 떨어져서, 원인을 찾기 어렵습니다.

이를 막으려면 NVIDIA 제어판에서 Ollama만 따로 설정합니다.

  1. 바탕화면 우클릭 → NVIDIA 제어판 → 3D 설정 관리 → 프로그램 설정 탭
  2. 추가를 눌러 ollama.exe를 선택합니다. (설치 위치는 PowerShell에서 (Get-Command ollama).Source로 확인할 수 있습니다.)
  3. CUDA - 시스템 메모리 대체 정책을 “시스템 메모리 비대체 선호“로 바꾸고 적용합니다.
  4. 같은 폴더의 ollama app.exe도 같은 방법으로 설정합니다.
  5. Ollama를 종료했다가 다시 실행합니다.

NVIDIA 제어판 - CUDA 시스템 메모리 대체 정책

이름이 비슷한 “시스템 메모리 대체 선호“는 정반대 설정이니 헷갈리지 않도록 주의하세요. 이렇게 해 두면 VRAM이 부족할 때 ollama ps에 CPU/GPU 혼합으로 정확히 표시되어 바로 알아챌 수 있습니다.

8. 보안: 외부에 열지 마세요

Ollama는 http://localhost:11434 주소로 다른 프로그램이 접속할 수 있는 기능(API)을 제공합니다. 이 기능에는 기본적으로 비밀번호 같은 인증이 없습니다. 다른 PC에서도 쓰고 싶다고 이 포트를 네트워크에 열면, 같은 네트워크의 누구나 내 PC의 AI를 쓸 수 있게 됩니다. 원격으로 쓰고 싶다면 포트를 여는 대신 원격 데스크톱처럼 PC 자체에 안전하게 접속하는 방법을 쓰는 것이 좋습니다.

정리

단계 핵심
모델 크기 VRAM 12GB면 12~14B급, 바탕화면이 쓰는 VRAM까지 고려
모델 선택 한국어 품질과 라이선스 확인. 결과는 반드시 사람이 검토
설치 순서 저장 위치 환경변수 → 설치 → Ollama 재실행 → 모델 받기
확인 ollama ps로 100% GPU, --verbose로 두 번째 실행 속도
안정화 NVIDIA 제어판에서 시스템 메모리 대체 끄기
보안 11434 포트는 외부에 열지 않기

설치에서 가장 많이 헤맨 부분은 “설치 후 Ollama를 다시 실행하지 않아 모델이 C드라이브에 저장된 것”이었습니다. 처음 설치하신다면 4번의 재실행 과정만 꼭 챙기세요.

함께 보면 좋은 글