그래픽카드 없이 AI 모델 돌리기, 무료 엔진 콜리브리 설치와 사용법

그래픽카드 없이 초대형 AI 모델을 노트북에서 돌린다는 무료 엔진 "콜리브리"가 어떤 원리로 동작하고, 실제로 설치해 쓰려면 무엇이 필요한지 정리했습니다. 숏픽 채널의 56초 쇼츠가 말한 여섯 단계를 순서대로 옮기고, 영상이 말하지 않은 배포 주소, 실제 명령어, 속도와 저장공간 조건은 공개 저장소 문서를 기준으로 채웠습니다.

그래픽카드 없이 AI 모델을 돌린다는 주장

숏픽 채널의 56초짜리 쇼츠입니다. 주장은 한 문장으로 끝납니다. 그래픽카드가 하나도 없는 노트북이 세계 최대급 모델을 끝까지 돌렸고, 그걸 해낸 건 콜리브리라는 작은 엔진이며, 누구나 공짜로 가져다 쓸 수 있다. 아래 절차 설명은 화자의 말이고, 제가 직접 돌려 본 결과가 아닙니다.

화자가 뒤집었다고 말하는 통념

"덩치 큰 모델을 돌리려면 비싼 그래픽 카드가 꼭 있어야 한다." 이 말을 뒤집었다는 게 화자의 출발점입니다. 누가 만들었는지는 말하지 않고 "이 사람"이라고만 합니다.

영상에서 "오픈소스"라는 단어는 쓰지 않았습니다. 화자가 쓴 표현은 "누구나 공짜로 가져다 쓸 수 있다", 그리고 "값은 0원"입니다.

작동 방식: 필요한 조각만 램에 올린다

원리 설명은 이렇습니다. 덩치가 큰 모델도 한 마디를 만들 때 실제로 깨우는 건 아주 작은 조각이다.

그래서 늘 쓰이는 알맹이 10GB 정도만 램에 올려두고, 나머지는 하드에 눕혀 둡니다. 화자가 붙인 비유는 스트리밍입니다. 영화를 다 받지 않고 보는 방식과 같다는 겁니다.

화자가 내세운 포인트는 네 개입니다.

• 램에 상주하는 크기: 약 10GB
• 모델 파일 크기: 370GB
• 비용: 0원
• 그래픽카드: 불필요

전문 용어는 영상에 나오지 않습니다. 풀어 쓰면 이 방식은 MoE(전문가 혼합, 질문마다 모델의 일부 전문가 조각만 골라 쓰는 구조) 모델에서, 당장 필요한 조각만 저장장치에서 꺼내 읽는 오프로딩(메모리에 다 못 올리는 부분을 디스크에 두고 필요할 때 불러오는 방식)입니다.

화자가 말한 절차: 여섯 단계

영상이 발화로 짚은 동작을 순서대로 옮깁니다. 각 단계 아래에 공개 저장소 기준으로 실제 할 일을 붙였습니다.

1단계. 콜리브리를 내려받는다

배포 파일을 내려받습니다. 받는 주소는 영상에 나오지 않습니다. 설명과 일치하는 프로젝트는 GitHub의 JustVugg/colibri 저장소이고, 저장소의 Releases(배포판) 메뉴에서 운영체제별 압축 파일을 받습니다. 리눅스·맥·윈도우용이 따로 있습니다.

• 확인: 내 컴퓨터에 압축 파일 1개가 저장된다.

2단계. 압축을 푼다

"그냥 내려받아 압축만 풀면 설치라고 할 것도 없이 준비는 그걸로 끝." 별도 설치 과정은 없다는 것이 화자의 설명입니다.

• 확인: 폴더가 하나 생기고, 그 안에 실행 파일이 보인다.

3단계. 모델 파일을 준비한다

"모델 하나뿐인데 크기가 370GB."

• 확인: 저장장치에 370GB짜리 파일이 자리 잡는다.
• 모델 이름과 받는 곳은 영상에 없습니다. 저장소 README 기준으로는 GLM-5.2라는 초대형 MoE 모델을 콜리브리용으로 변환한 파일이고, 허깅페이스(AI 모델 공유 사이트)에서 받습니다. README에 적힌 크기는 약 372GB입니다.
• 이 파일이 없으면 다음 단계로 못 넘어갑니다.

4단계. 대화 모드로 써 본다

채팅창에 실행 한 줄을 칩니다. 자막 발화를 그대로 옮기면 이렇습니다.

콜리브리

• 확인: 인터넷 없이도 바로 대화가 된다.

실제 명령은 저장소 README 기준으로 아래와 같습니다. /경로/모델폴더에는 3단계에서 받은 모델 폴더 위치를 넣습니다.

COLI_MODEL=/경로/모델폴더 ./coli chat

5단계. 서버 모드로 연다

같은 명령 뒤에 "서브"를 붙입니다.

콜리브리 서브

• 확인: 내 컴퓨터 안에 주소가 열린다.

실제 명령은 serve입니다. README에는 기본 포트가 8000이라고 적혀 있습니다.

./coli serve --model /경로/모델폴더

6단계. 내 코드에 연결한다

기존 코드에서 한 줄을 그 주소로 갈아끼웁니다. 화자 말로는 "그대로 돌아간다". 기존 코드를 고치지 않고도 동작한다는 뜻입니다.

어떤 줄인지는 영상에 없지만, README는 서버가 OpenAI 호환 API(오픈AI와 같은 요청 형식을 받는 주소)라고 안내합니다. 오픈AI 파이썬 라이브러리를 쓰는 코드라면 보통 주소 부분만 바꾸면 됩니다.

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")

모델 이름 등 나머지 값은 README의 예시를 따릅니다.

화자가 실제로 권한 것

끝에 요청이 하나 있습니다. "댓글에 노트북이라고 남겨 주세요." 그 외에 시청자에게 시킨 행동은 없고, 어디서 받으라는 안내도 발화로는 없었습니다.

출처: youtube.com/…