Ollama 설치 방법, 윈도우 PC에 로컬 AI 챗봇 만드는 법

Ollama 설치 방법을 윈도우 기준 31단계로 정리했습니다. 내려받기, 설치, 내 그래픽 카드에 맞는 모델 고르기, 인터넷을 끊고 써 보기, 자동 실행 끄기까지 클릭 단위로 따라 할 수 있습니다. Ollama(올라마)는 챗GPT 같은 AI 모델을 인터넷 서버가 아니라 내 컴퓨터 안에서 돌리게 해 주는 무료 프로그램입니다.

로컬 AI 챗봇을 내 컴퓨터에 까는 이유

코드작업실 채널의 약 7분 영상(431초)이 보여 주는 결론은 하나입니다. Ollama 설치는 게임 하나 까는 것과 다르지 않다는 것. 그 전에 왜 굳이 내 컴퓨터에 까는지, 화자가 든 이유는 둘입니다.

돈. 요금 이야기를 하면서 "꽤 비싸구나"라고 말하고, 사람들이 많이 쓰는 대표적인 것만 써도 80달러가 든다고 합니다. 어떤 서비스들을 합친 금액인지, 월 기준인지는 발화만으로는 확정되지 않습니다.

그리고 개인정보. 우리가 입력한 정보가 클라우드 서버로 가서 로그가 남을 테고, 그게 빅데이터 구축에 쓰이지 않겠냐는 의문입니다. 특정 업체의 정책을 인용한 건 아니고 추측 형태의 주장입니다.

진입 장벽은 이렇게 못 박습니다. "코딩, 서버, 터미널 이런 단어 하나도 몰라도 상관없어요." 인터넷 쇼핑하듯 클릭 몇 번이면 된다는 겁니다. 실제로 영상에는 터미널 명령어가 한 줄도 나오지 않고 전부 클릭 화면입니다.

Ollama 설치 전 준비물

• 윈도우 PC. 영상은 "대부분 윈도우실 거예요"라며 윈도우로 진행합니다. 맥·리눅스 설치법은 이 글 아래 "맥과 리눅스에서 설치하는 법"에 따로 적었습니다.
• 인터넷 연결. 설치 파일과 모델을 내려받을 때만 필요합니다. 설치가 끝난 뒤에는 없어도 됩니다.
• 내 램/VRAM 용량. 모델 크기를 고르는 기준입니다. 화자 본인 장비는 RTX 5060 Ti 16GB입니다. VRAM(비디오 램)은 그래픽 카드에 따로 붙어 있는 메모리입니다.
• 저장 공간. 모델 파일 용량만큼 필요합니다. 영상은 숫자를 말하지 않는데, 모델마다 용량이 다르니 모델 목록에 적힌 크기를 보고 C 드라이브 여유 공간과 비교하면 됩니다.
• 비용. 로컬 모델 사용료 이야기는 영상에 없습니다. 목록에 cloud라고 붙은 모델은 유료 회원 가입이 필요하다고 합니다.
• 사전 지식. 필요 없습니다.

설치 자체는 화면상 5초 남짓이면 끝납니다. 설치 파일과 모델 다운로드 시간은 인터넷 속도에 따라 다르고, 영상에서 따로 말하지 않습니다.

1장. Ollama 내려받기 (1~8단계)

화자가 말하는 "1단계"입니다. 순서는 고정입니다.

1. 웹 브라우저(크롬, 엣지 등)를 연다.
   • 확인: 브라우저 창이 떴다
2. 브라우저 맨 위의 주소창을 클릭한다.
   • 위치: 브라우저 창 위쪽의 긴 입력칸
   • 확인: 주소창에 커서가 깜빡인다
3. 주소창에 주소를 입력한다.

ollama.com

• 확인: 주소창에 글자가 들어갔다 4. 엔터를 누른다.
  • 확인: Ollama 공식 사이트 첫 화면이 열린다 5. 첫 화면 바로 밑에 있는 Download(다운로드)를 찾는다.
  • 위치: "바로 밑에 다운로드가 보이죠?"라는 말 그대로 첫 화면 가운데 아래
  • 확인: 다운로드 버튼이 눈에 보인다 6. 운영체제 목록에서 Windows(윈도우)를 선택한다.
  • 맥·리눅스는 해당 항목을 고른다. 이어지는 절차는 아래 "맥과 리눅스에서 설치하는 법"을 본다
  • 확인: 윈도우가 선택된 상태다 7. 다운로드를 클릭한다.
  • 확인: 브라우저에 다운로드 진행 표시가 뜬다 8. 다운로드가 끝날 때까지 기다린다.
  • 확인: 다운로드 완료 표시. 영상에서는 여기서 "벌써 1단계가 끝났습니다"라고 말한다

2장. Ollama 설치하기 (9~13단계)

화자의 "2단계". 여기도 순서 고정입니다.

9. 내려받은 파일 중 Ollama 파일을 찾는다.
   • 위치: 파일 탐색기의 "다운로드" 폴더, 또는 브라우저 오른쪽 위 다운로드 아이콘
   • 확인: OllamaSetup.exe처럼 Ollama 이름이 붙은 설치 파일이 보인다
10. 그 파일을 더블 클릭한다.
    • "딱 두 번만 연속으로 눌러 주시면" 된다는 설명 그대로다
    • "이 앱이 디바이스를 변경하도록 허용하시겠어요?" 창이 뜨면 "예"를 누른다
    • 확인: 설치 화면이 나타난다
11. Install(인스톨) 버튼을 누른다.
    • 확인: 설치가 진행된다
12. 설치가 끝날 때까지 기다린다.
    • 확인: 약 5초 뒤 "설치 완료가 됐습니다", "벌써 2단계도 끝났습니다"라는 말이 나온다
    • 비유: "게임 설치하는 것처럼 실행 파일 실행만 하면 됩니다"
13. 뜬 채팅창 화면을 확인한다.
    • 확인: "채팅창처럼 내 컴퓨터에서 활용을 할 수 있는" 화면이 보인다
    • 창이 안 뜨면 시작 메뉴에서 "Ollama"를 검색해 실행한다. 화면 오른쪽 아래 작업 표시줄 트레이의 라마 모양 아이콘으로도 열 수 있다

3장. 내 컴퓨터에 맞는 모델 고르기 (14~21단계)

여기가 이 영상의 진짜 알맹이입니다. 모델은 AI의 두뇌에 해당하는 파일이고, 크기가 클수록 똑똑하지만 메모리를 많이 먹습니다.

14. 화면에서 Select model(셀렉트 모델)을 누른다.
    • 확인: 모델 목록이 펼쳐진다
15. 목록 위쪽의 cloud라고 써 있는 모델은 건너뛴다.
    • 주의: "다 클라우드 위에 올라가 있는 건데 유료 회원 가입을 해야만 활용할 수 있다"며 되도록 비추천한다
    • 이유: "우리 컴퓨터, 우리 그래픽 카드로 사용하려고 이 프로그램을 깔았기 때문"
    • 확인: cloud 표시 항목을 고르지 않았다
16. 목록을 아래로 내린다(스크롤).
    • 확인: 다른 모델들이 나타난다
17. 내 램(RAM)과 그래픽 카드 VRAM 용량을 확인한다.
    • CPU 쪽에도 램이 있고, 그래픽 카드에도 그래픽용 램이 따로 붙어 있다
    • 확인하는 법: Ctrl + Shift + Esc로 작업 관리자를 연다. 왼쪽 "성능" 탭을 누른다. "메모리"를 누르면 램 총량이, "GPU"를 누르면 아래쪽 "전용 GPU 메모리"에 VRAM 용량이 나온다
    • 확인: 내 VRAM 숫자(예: 16GB)를 안다
18. 그 숫자를 기준으로 쓸 수 있는 모델 크기를 정한다.
    • 기준(화자 어림값): VRAM 16GB면 8B(8 빌리언) 모델
    • 영상은 "8 빌리언"을 80억의 데이터를 참조했다는 뜻으로 설명하고, 참조 데이터가 많을수록 성능이 좋다고 덧붙인다. 보통은 모델 안의 매개변수(파라미터, 학습으로 정해진 숫자) 80억 개라는 뜻으로 쓰인다
    • 영상 속 계산식 발화는 자막이 깨져 알아볼 수 없다. 실용적인 방법은 ollama.com 사이트의 모델 페이지에서 각 버전의 파일 용량을 확인하고, 그 용량이 내 VRAM보다 넉넉히 작은 것을 고르는 것이다
    • 확인: 목표 모델 크기(예: 8B)를 정했다
19. 양자화된(용량 줄인) 버전이 있으면 더 큰 모델도 후보에 넣는다.
    • 화자 주장: 양자화하면 16GB로도 16B·32B를 쓸 수 있다
    • 원리: 가중치 확률을 계산할 때 소수점 여덟 자리까지 보던 것을 네 자리로 줄이거나 정수만 본다. 정밀도는 낮아지지만 저장 용량 차이가 엄청나서, 그래픽 카드가 별로 좋지 않아도 비용을 확 줄일 수 있다는 설명이다
    • 고르는 법: ollama.com에서 모델 이름을 검색해 모델 페이지를 열고 태그 목록을 본다. 이름 끝의 q4_K_M, q8_0 같은 표기가 양자화 수준이다. 앞 숫자가 작을수록 용량이 작다
    • 확인: 후보 목록이 정해졌다
20. 후보 중 하나를 고른다.
    • 화자 추천 3종:

Qwen3    (알리바바)
gpt-oss  (오픈AI, "이게 ChatGPT예요"라는 설명)
Gemma    (구글의 제미나이 같은 모델)

• 주의: DeepSeek는 보안 이슈가 있어 사용을 권장하지 않는다. 어떤 이슈인지는 영상에 없다
  • 확인: 모델 하나를 정했다 (영상 시연은 Qwen3 8B) 21. 그 모델을 클릭한다.
  • 확인: 해당 모델이 선택된 상태가 된다

4장. 첫 질문 던지고 모델 받기 (22~24단계)

모델은 고른 순간이 아니라 질문을 보낸 순간에 내려받아집니다. 순서 고정.

22. 채팅창에 질문을 입력하고 보낸다.
    • 영상 예시 질문:

저녁 메뉴를 추천해 줘

• 확인: 질문을 던지면 그때 모델 다운로드가 시작된다 23. 모델 다운로드가 끝날 때까지 기다린다.
  • 확인: 다운로드가 끝난다. 소요 시간은 모델 용량과 인터넷 속도에 따라 다르다 24. 답변을 확인한다.
  • 확인: "꽤나 괜찮은 답변을 내줬죠"라는 평가가 나온다

5장. 인터넷 없이 되는지 직접 확인하기 (25~28단계, 선택)

영상의 하이라이트입니다.

25. 인터넷 연결을 끊는다.
    • 영상: 유선 연결이라 랜선을 뽑았다
    • 무선이면: 화면 오른쪽 아래 작업 표시줄의 네트워크(와이파이) 아이콘을 누르고 Wi-Fi 버튼을 끈다. 비행기 모드를 켜도 된다
    • 확인: "이제 인터넷 연결이 완전히 끊겼죠?" 연결 없음 표시가 뜬다
26. 다시 질문을 입력한다.
    • 영상 예시 프롬프트:

Ollama에 대한 기능에 대해 설명하는 영상 기획서를 만들어 줘

• 확인: 입력칸에 글자가 들어갔다 27. 전송을 클릭한다.
  • 확인: 인터넷이 끊긴 상태에서도 답변이 생성된다. "인터넷 안 되는데 지금 돌아가고 있습니다", "속도도 굉장히 빠르죠?"라는 말이 나온다 28. 나온 결과물을 확인한다.
  • 확인: 영상에서는 영상 시작 방법, 문제 정의, 배경 구성과 이미지 생성용 프롬프트까지 함께 나왔다
  • 화자 구상: 그 프롬프트로 이미지를 만들고 편집·붙여넣기까지 자동화하면 글이 뚝딱 완성되겠다고 생각했다고 한다

여기서 나오는 결론은 두 문장입니다. "인터넷 없이도 완벽하게 작동한다. 이게 로컬 AI의 진짜 힘." 그리고 개인정보나 회사 자료를 물어봐도 데이터가 절대 밖으로 나가지 않는다는 것. 비행기 안이든 와이파이 없는 곳이든 대답한다고 덧붙입니다. 어디까지나 화자의 주장이고, 설치한 프로그램의 설정과 회사 보안 규정은 각자 확인해야 합니다.

6장. Ollama 자동 실행 끄기 (29~31단계, 선택)

Ollama는 작업 표시줄 트레이에 올라와 있고, 컴퓨터를 켤 때 자동으로 켜지도록 설정돼 있습니다. 자동 실행을 그대로 두고 싶으면 이 장은 건너뜁니다.

29. 윈도우 설정 앱을 연다.
    • 방법: 윈도우 키 + I를 누르거나, 시작 버튼을 누르고 톱니바퀴 모양 "설정"을 누른다
    • 확인: 설정 창이 떴다
30. 왼쪽 목록에서 "앱"을 누르고, 그 안의 "시작 프로그램"을 클릭한다.
    • 실제로는 "앱" 클릭, "시작 프로그램" 클릭의 두 동작이다
    • 확인: 시작 프로그램 목록이 보인다
31. 목록에서 Ollama를 끔으로 바꾼다.
    • 위치: Ollama 항목 오른쪽 스위치가 "켬"으로 되어 있다
    • 확인: Ollama가 끔 상태가 된다 ("이거를 꺼 주시면 됩니다")
    • 다른 길: 작업 관리자(Ctrl + Shift + Esc)의 "시작 앱" 탭에서 Ollama를 오른쪽 클릭하고 "사용 안 함"을 눌러도 된다

맥과 리눅스에서 설치하는 법

영상은 윈도우만 다룹니다. 다른 운영체제는 이렇게 하면 됩니다.

맥: 1. ollama.com의 Download에서 macOS를 고르고 내려받는다. 2. 다운로드 폴더에서 받은 파일을 더블 클릭해 압축을 풀거나 연다. 3. 나온 Ollama 앱을 "응용 프로그램" 폴더로 끌어다 놓는다. 4. 응용 프로그램 폴더에서 Ollama를 실행한다. 처음 열 때 "인터넷에서 다운로드한 앱" 경고가 뜨면 "열기"를 누른다.

리눅스: 터미널을 열고 공식 설치 명령 한 줄을 붙여 넣습니다.

curl -fsSL https://ollama.com/install.sh | sh

채팅창 대신 명령어로 쓰는 법

영상은 클릭만으로 끝내지만, 명령어로도 같은 일을 할 수 있습니다. 모델을 여러 개 관리할 때 편합니다. 윈도우는 시작 메뉴에서 "명령 프롬프트"나 "PowerShell"을 열고 칩니다.

ollama run qwen3:8b

처음이면 모델을 내려받은 뒤 바로 대화가 시작됩니다. 끝낼 때는 /bye를 칩니다. 자주 쓰는 명령은 이렇습니다.

ollama list          # 내려받은 모델 목록과 용량 보기
ollama pull gemma3   # 모델만 미리 내려받기
ollama rm qwen3:8b   # 모델 지우기(디스크 공간 확보)

최종 체크리스트

• ollama.com에서 윈도우용 설치 파일을 내려받았다
• 더블 클릭, Install로 설치를 끝냈다
• 채팅창 화면이 떴다
• Select model에서 cloud 표시가 없는 모델을 골랐다
• 내 VRAM 기준으로 모델 크기를 정했다 (16GB면 8B)
• DeepSeek는 피했다
• 첫 질문을 던져 모델 다운로드와 답변을 확인했다
• (선택) 인터넷을 끊고도 답변이 나오는 것을 확인했다
• (선택) 설정, 앱, 시작 프로그램에서 Ollama 자동 실행을 껐다

Ollama 설치 후 자주 막히는 곳

• 유료 가입하라고 뜬다: cloud라고 써 있는 모델을 골랐습니다. 목록을 아래로 내려 cloud 표시가 없는 로컬 모델을 고릅니다.
• 답변이 너무 느리거나 멈춘다: 내 VRAM보다 큰 모델일 수 있습니다. 더 작은 모델(16GB면 8B)로 바꾸거나 양자화 버전을 찾아봅니다.
• 그래픽 카드가 약해 큰 모델을 못 쓴다: 양자화 버전을 쓰면 비용을 확 줄일 수 있다는 게 영상의 설명입니다.
• 모델을 골랐는데 아무 일도 안 일어난다: 다운로드는 질문을 보낸 시점에 시작됩니다. 질문을 하나 입력해 보냅니다.
• 인터넷을 끊었더니 웹 검색이 안 된다: 검색은 인터넷이 있어야 합니다. 영상에서도 "인터넷이 돼야 서치를 할 수 있는데 지금 안 된다"고 합니다. 모델 자체 답변은 정상 작동합니다.
• 컴퓨터를 켜면 Ollama가 멋대로 뜬다: 기본값이 자동 실행 켬입니다. 29~31단계로 끕니다.
• 설정에서 "시작 프로그램"을 못 찾겠다: 설정 창 왼쪽 "앱"을 누르면 오른쪽에 "시작 프로그램"이 있습니다. 설정 창 맨 위 검색칸에 "시작 프로그램"을 쳐도 바로 갑니다.

되돌리는 법

1. 자동 실행을 다시 켜려면: 설정, 앱, 시작 프로그램에서 Ollama를 켬으로 되돌립니다(31단계의 반대).
2. 인터넷을 다시 연결하려면: 뽑았던 랜선을 다시 꽂거나 Wi-Fi를 켭니다(25단계의 반대).
3. Ollama를 지우려면: 설정, 앱, 설치된 앱으로 가서 Ollama 오른쪽 점 세 개(…)를 누르고 "제거"를 누릅니다.
4. 내려받은 모델 파일까지 지우려면: 프로그램을 지우기 전에 ollama rm 모델이름으로 지우거나, 파일 탐색기 주소창에 %USERPROFILE%\.ollama를 쳐서 나온 폴더 안의 models 폴더를 지웁니다. 모델 파일은 용량이 커서 이걸 지워야 디스크 공간이 돌아옵니다.

로컬 AI를 쓰고 나서

"생각보다 훨씬 쉽죠?"라는 말과 함께, 오늘 한 일은 AI를 개인화시키는 일이라는 정리가 나옵니다. AI는 더 이상 개발자만의 전유물이 아니라는 겁니다. 다음 편은 오늘 설치한 AI로 내 컴퓨터를 그림 그리는 AI 공장으로 만드는 방법이라고 예고합니다.

영상은 인용 한 줄로 끝납니다. "AI가 인간을 대체하지는 않지만, AI를 갖춘 인간이 AI 없는 인간을 대체할 것이다." 누가 한 말인지는 밝히지 않습니다.

이 글은 코드작업실 ⚒️ Code Workshop 채널 영상(431초)의 자동 자막을 근거로 정리했고 화면과는 대조하지 못했습니다. 버튼 이름의 영문 표기는 발화에서 추정했고, 맥·리눅스 설치, 명령어, 제거 방법은 영상에 없는 내용을 편집자가 공식 사용법 기준으로 보탠 것입니다. 자막에는 ollama.com이 "올라마닷c", RTX가 "RTS", VRAM이 "브램", Qwen3가 "QN3", gpt-oss가 "GPT OOSS", Gemma가 "잼마", 켬이 "혐"으로 잡혀 있었습니다.

출처: youtu.be/…