내 PC에서 AI 모델 돌리기, 필요한 메모리와 라이선스 계산
8GB 그래픽카드로 8B 모델이 돌아간다는 말에는 조건이 붙습니다. 공식 설정값으로 메모리를 직접 계산하고, 모델별 라이선스 원문을 대조해 정리했습니다.
사내 문서나 진료 기록처럼 밖으로 내보내기 곤란한 글을 요약해야 할 때, 클라우드 AI 입력창에 붙여 넣기가 망설여집니다. 그래서 내 컴퓨터 안에서 도는 모델을 찾아보게 되는데, 검색하면 "8GB 그래픽카드면 8B 모델은 돌아갑니다" 같은 문장이 먼저 나옵니다.
이 문장은 맞기도 하고 틀리기도 합니다. 조건이 빠져 있기 때문입니다. 계산해 보면 조건이 무엇인지 분명해집니다.
필요한 메모리는 한 덩어리가 아닙니다
모델을 돌릴 때 그래픽카드 메모리(VRAM)에 올라가는 것은 두 가지입니다. 가중치와 KV 캐시입니다. 대부분의 안내는 앞의 것만 계산합니다.
가중치는 모델 파일 그 자체입니다. 계산식은 단순합니다.
가중치 용량 = 파라미터 수 × (양자화 비트 ÷ 8) 바이트
양자화는 모델 안의 숫자를 더 적은 비트로 줄여 담는 압축입니다. 4비트로 줄이면 파라미터 하나당 0.5바이트이므로, 80억 개짜리 모델은 약 4GB가 됩니다.
다만 이 값은 이론치입니다. 실제로 많이 쓰이는 방식은 모든 층을 똑같이 4비트로 줄이지 않고 중요한 부분을 6~8비트로 남기기 때문에, 같은 80억 개 모델의 실제 파일은 5GB 근처가 됩니다. 그래서 가중치는 계산하기보다 모델 배포 페이지에 적힌 실제 파일 크기를 보는 편이 정확합니다.
실제 한계는 두 번째 덩어리에서 생깁니다
KV 캐시는 대화가 길어질수록 쌓이는 중간 계산 결과입니다. 모델이 앞서 읽은 토큰을 매번 다시 계산하지 않으려고 메모리에 쌓아 두는 값이고, 계산식은 이렇습니다.
토큰 1개당 바이트 = 2 × 레이어 수 × KV 헤드 수 × 헤드 차원 × 2바이트
앞의 2는 키와 값 두 벌이라는 뜻이고, 뒤의 2바이트는 값 하나를 16비트로 담는다는 뜻입니다. 필요한 숫자는 전부 모델의 공개 설정 파일 config.json에 적혀 있습니다.
Llama 3.1 8B의 설정값은 레이어 32개, KV 헤드 8개, 헤드 차원 128입니다. 넣어 보면 토큰 하나당 131,072바이트, 곧 128KiB입니다. Qwen3 8B는 레이어가 36개라 토큰당 144KiB가 됩니다. 파라미터 수가 같아도 값이 다른 이유는 여기에 있습니다.
토큰 수를 곱하면 이렇게 됩니다.
| 열어 둔 컨텍스트 | Llama 3.1 8B (레이어 32) | Qwen3 8B (레이어 36) |
|---|---|---|
| 4K (4,096 토큰) | 0.5GiB | 0.56GiB |
| 8K | 1GiB | 1.13GiB |
| 32K | 4GiB | 4.5GiB |
| 128K | 16GiB | 18GiB |
여기서 처음 세운 가설이 틀렸습니다
이 글을 시작할 때는 "모델 크기가 곧 한계"라는 결론을 예상했습니다. 표를 만들고 보니 순서가 반대였습니다.
Llama 3.1 8B의 4비트 모델 파일은 5GB 남짓인데, 이 모델이 지원하는 최대 컨텍스트는 설정 파일에 131072로 적혀 있습니다. 끝까지 열면 KV 캐시만 16GiB로 가중치의 세 배를 넘습니다. 모델은 진작에 다 올라갔는데 대화 길이 때문에 메모리가 터지는 것입니다.
그래서 "8GB면 8B 모델이 돌아간다"는 말은 컨텍스트를 4K에서 8K 정도로 잡았을 때의 이야기입니다. 5GB에 1GB를 더하고 실행 여유분 1GB 남짓을 더하면 8GB를 거의 채웁니다. 같은 카드에서 32K를 열려고 하면 4GiB가 더 필요해 들어가지 않습니다.
Ollama 공식 문서도 같은 지점을 지적합니다.
Required RAM will scale by
OLLAMA_NUM_PARALLEL*OLLAMA_CONTEXT_LENGTH
동시 요청 수와 컨텍스트 길이의 곱만큼 늘어난다는 뜻입니다. 여러 사람이 붙는 상황이라면 계산에 곱하기가 하나 더 붙습니다.
정리하면, 고를 때 던져야 할 질문은 "몇 B짜리 모델이 돌아가나"가 아니라 **"얼마나 긴 글을 넣을 것인가"**입니다. 긴 문서를 통째로 넣어 요약하는 용도라면 모델을 한 단계 줄이고 컨텍스트를 확보하는 편이 낫습니다.
그런데 사양보다 먼저 걸리는 것이 있습니다
사양 계산이 끝나면 다음은 라이선스입니다. 흔히 한 묶음으로 "오픈소스 모델"이라 부르지만, 원문을 열어 보면 조건이 전혀 다릅니다.
| 모델 | 라이선스 | 붙는 조건 |
|---|---|---|
| Llama 4 | Llama 4 Community License | "Built with Llama" 표시, 파생 모델명 앞에 "Llama", 월간 활성 사용자 7억 명 초과 시 별도 요청 |
| Gemma | Gemma Terms of Use | 재배포 시 약관 사본 전달, 사용 제한을 하위 계약에 강제 조항으로 포함, Notice 파일, 수정 표기 |
| Qwen3 8B | Apache 2.0 | 저작권·라이선스 고지 |
| Mistral 7B Instruct | Apache 2.0 | 저작권·라이선스 고지 |
Llama 라이선스 원문에는 이렇게 적혀 있습니다.
prominently display "Built with Llama" on a related website, user interface, blogpost, about page, or product documentation
그리고 이 모델로 다른 모델을 만들어 배포하면 이름 규칙까지 따라옵니다.
you shall also include "Llama" at the beginning of any such AI model name
Gemma 약관은 재배포 대상에게 약관 사본을 넘기고, 사용 제한을 강제 가능한 조항으로 계약에 넣으라고 요구합니다.
You must provide all third party recipients of Gemma or Model Derivatives a copy of this Agreement
이 조건들이 붙은 이유를 감추지 않은 쪽도 있습니다. 오픈소스 이니셔티브(OSI)는 Llama 라이선스에 대해 오픈소스로 볼 수 없다고 못박았습니다.
Fails at freedom 0, the freedom to use the model for any purpose
용도를 제한하고 특정 사용자를 배제하는 조건이 붙는 한 오픈소스 정의를 충족하지 못한다는 판단입니다. 가중치를 내려받을 수 있다는 것과 오픈소스라는 것은 다른 말이고, 이런 모델을 가리키는 좀 더 정확한 표현은 오픈 웨이트입니다.
조건이 언제 발동하는지가 실제 갈림길입니다
라이선스 표를 보면 겁이 나지만, 조문을 끝까지 읽으면 방향이 달라집니다. 위 조건들은 대부분 배포하는 시점에 걸립니다. 표시 의무, 이름 규칙, 약관 사본 전달, 하위 계약 조항은 전부 모델이나 그 모델을 담은 제품을 남에게 넘길 때 생기는 의무입니다.
그래서 실제 갈림길은 사양이 아니라 이 질문입니다.
- 내 컴퓨터에서 나 혼자 쓰는 경우 — 배포가 없으므로 대부분의 조건이 발동하지 않습니다. 남는 것은 금지 용도 정책 정도입니다. 이 단계에서는 Llama든 Gemma든 Qwen이든 라이선스 차이가 선택을 좌우하지 않습니다.
- 회사 서비스에 넣거나 파인튜닝한 모델을 공개하는 경우 — 여기서부터 전부 발동합니다. 이름 규칙 때문에 브랜드명을 못 쓰게 되는 상황, 약관 사본을 고객 계약에 끼워 넣어야 하는 상황이 실제로 생깁니다. 이 단계라면 Apache 2.0 계열을 처음부터 고르는 편이 분쟁의 여지가 적습니다.
개인 용도로 시작했다가 나중에 서비스로 키울 생각이라면, 그때 모델을 갈아 끼우는 비용까지 감안해 처음부터 고르는 것이 낫습니다.
로컬이 실제로 나은 자리와 아닌 자리
계산과 라이선스를 다 통과해도, 마지막으로 남는 것은 이 방식이 그 일에 맞느냐입니다.
맞는 쪽은 밖으로 내보낼 수 없는 문서의 요약·분류·번역 초안, 인터넷이 없는 환경, 그리고 같은 작업을 수없이 반복해 호출 비용이 부담되는 경우입니다. 입력이 장비 밖으로 나가지 않는다는 점이 기능이 아니라 조건인 작업들입니다.
맞지 않는 쪽은 최신 정보가 필요한 질문, 긴 추론이 필요한 작업, 그리고 앞의 표대로 긴 컨텍스트가 필수인 작업입니다. 전기요금도 0은 아닙니다. 그래픽카드가 계속 돌아가는 만큼 소비전력이 붙고, 공시된 정격 소비전력으로 요금을 환산하는 방법은 대기전력과 누진 구간 계산에 정리해 두었습니다.
그래서 순서를 이렇게 잡게 됩니다
- 넣을 글의 길이부터 정합니다. 컨텍스트 길이가 정해져야 계산이 시작됩니다.
- 모델 페이지에서 실제 파일 크기를 확인합니다. 이론 계산치가 아니라 배포된 파일 크기입니다.
- 설정 파일의 레이어 수·KV 헤드 수·헤드 차원으로 KV 캐시를 계산해 더합니다.
- 여유분 1GB 남짓을 더한 값이 내 VRAM 안에 들어오는지 봅니다.
- 배포 계획이 있으면 라이선스 원문을 먼저 읽고, 없으면 사양만 보고 고릅니다.
클라우드 서비스 쪽을 함께 저울질하는 중이라면 용도별 정리는 일상에서 쓸 만한 AI 도구에 따로 적어 두었습니다.
지금 쓰려는 용도에서 한 번에 넣어야 하는 글은 몇 토큰쯤 될까요?
테크인포 운영자
제조사 공식 문서, 독립 시험기관 결과, 공개된 요금제와 판결문을 직접 찾아 대조해 정리합니다. 출처를 확인할 수 있는 숫자만 싣고, 확인하지 못한 것은 확인하지 못했다고 적습니다. 협찬·광고는 받지 않습니다. 글에 틀린 내용이 있으면 문의 페이지로 알려주세요.