로컬 LLM 하드웨어 비용: API가 더 싼 경우
사용 가능한 로컬 모델에는 충분한 메모리가 있는 GPU, 적절한 호스트 머신 및 전력 요금이 필요합니다. 3년 동안 분배하면 월별 비용이 대부분의 사람들이 토큰에 지출하는 금액보다 훨씬 높아집니다.


주요 포인트
- GPU의 메모리가 실행 가능한 모델과 비용을 결정합니다. 순수 속도가 아닙니다.
- 아래의 예시 구성에서 손익분기점은 월 약 232M 토큰, 또는 하루 약 18시간 생성에 해당합니다.
- 낮고 폭발적인 사용량에서는 API가 이기고, 지속적인 고부하 사용, 프라이버시 요구 및 오프라인 작업에서는 로컬이 이깁니다.
- 여기의 모든 하드웨어 가격은 기준 가격으로 간주하고 현재 시장을 확인하세요.
가격을 결정하는 요소
로컬 LLM 하드웨어 비용은 주로 그래픽 카드 비용이라는 한 가지 구성 요소로 이루어집니다. 특히 비디오 메모리 용량이 중요합니다. 모델 가중치는 VRAM에 맞거나, VRAM과 시스템 RAM의 느린 혼합 형태로 맞아야 합니다. 가중치만 고려한 대략적인 규칙은 파라미터 수에 비트 수를 곱한 뒤 8로 나눈 값입니다. 80억 파라미터 모델은 4비트 양자화 시 약 4GB가 필요합니다. 700억 파라미터 모델은 4비트 양자화 시 약 35GB가 필요합니다. 여기에 컨텍스트 길이에 따라 증가하는 KV 캐시 공간과 약간의 오버헤드를 추가해야 합니다.
이것이 가격 곡선이 가파른 이유입니다. 메모리가 12GB인 카드는 작은 모델을 실행합니다. 24GB 카드는 중간 크기의 모델을 여유 있게 실행합니다. 그 이상은 두 개의 카드나 워크스테이션 하드웨어를 의미합니다. 용량이 속도보다 중요합니다. 모델을 담을 수 있는 느린 카드가 담지 못하는 빠른 카드보다 낫습니다.
저가형, 중급형 및 대형 빌드
아래 가격은 참고용 가정이며 견적이 아닙니다. 중고 및 신규 가격은 수시로 변동하므로 실제 가격으로 대체하세요. 핵심은 계산의 형태입니다.
| 항목 | 소형 빌드 | 중형 빌드 | 대형 빌드 |
|---|---|---|---|
| GPU 메모리 | 12 GB | 24 GB | 2 x 24 GB |
| GPU (가정) | $350 | $800 | $1,600 |
| CPU, 메인보드, 32~64 GB RAM, SSD (가정) | $500 | $600 | $900 |
| 전원 공급 장치, 케이스, 냉각 장치 (가정) | $150 | $100 | $200 |
| 합계 (가정) | $1,000 | $1,500 | $2,700 |
적합한 그래픽 카드가 장착된 게이밍 PC를 이미 보유하고 있다면 한계 하드웨어 비용은 0이며 이 문서의 나머지 내용은 로컬에 유리하게 기울어집니다. 새 장비를 구매하는 경우라면 표가 더 사실에 가까워집니다.
구매 비용을 월 비용으로 분할 계산하기
빌드를 현실적인 수명 기간에 분산하고 전력 비용을 추가하세요. $1,500의 중형 빌드를 36개월에 분할하면 월 $41.67입니다. 하루 약 4시간 작동하는 기계의 전력을 추가하세요. 부하 시 450W, 대기 시 60W를 사용하며 kWh당 $0.15라면 월 $13.50입니다. 총합: 월 $55.17.
| 빌드 | 월 하드웨어 비용 (36개월 기준) | 월 전력 비용 (하루 4시간) | 월 합계 |
|---|---|---|---|
| 소형 | $27.78 | $13.50 | $41.28 |
| 중형 | $41.67 | $13.50 | $55.17 |
| 대형 | $75.00 | $23.40 | $98.40 |
대형 빌드의 전력 수치는 부하 시 800W, 대기 시 100W를 가정합니다. 하루 3.2kWh + 2.0kWh = 5.2kWh, 30일 기준 156kWh, $0.15 기준 $23.40입니다.
토큰별 가격 대비 손익분기점
이 월별 금액을 토큰으로 환산합니다. 채팅 트래픽을 가정하고 출력 토큰당 입력 토큰 3개를 사용합니다. 100만 출력 토큰과 300만 입력 토큰의 비용은 1 x $0.50 + 3 x $0.15 = $0.95이며, 400만 토큰당 혼합 단가는 $0.2375입니다. 중간 사양의 경우:
- $55.17을 토큰 100만 개당 $0.2375로 나누면 손익분기점인 월 약 232M 토큰입니다.
- 그중 4분의 1이 출력입니다: 약 58M 출력 토큰입니다.
- 초당 30 토큰의 속도라면, 한 대의 머신이 30일(2.592M초 × 30) 내내 최대 성능으로 구동될 경우 약 77.8M개의 출력 토큰을 생성합니다.
초당 30토큰의 속도로 58M 출력 토큰을 생성하려면 1.94M 초, 약 538시간이 필요합니다. 이는 하루 17.9시간 생성입니다. 프롬프트를 타이핑하는 단 한 명의 개발자는 이를 수행하지 않습니다. 배치 파이프라인이나 다수 사용자를 가진 서비스라면 가능합니다.
로컬이 여전히 타당한 경우
손익분기점 계산은 API가 대부분의 개인에게 더 저렴함을 보여줍니다. 하지만 로컬이 무의미하다는 뜻은 아닙니다. 여전히 하드웨어를 구매해야 하는 이유:
- 이미 카드를 보유하고 있습니다. 그렇다면 전력 비용만 고려하면 됩니다.
- 지속적인 부하. 대량 분류와 같이 하루 종일 실행되는 파이프라인은 GPU를 충분히 가동하여 손익분기점을 넘을 수 있습니다.
- 오프라인 또는 에어갭 환경에서의 작업. 네트워크가 없고, 토큰 단위 과금도 없으며, 데이터가 건물 밖으로 나가지 않습니다.
- 가중치 실험. 양자화를 변경하거나 모델을 병합하거나 자체 파인튜닝을 실행하려면 디스크에 파일이 필요합니다.
LLM 사용이 일반적으로 얼마에 해당하는지에 대한 더 넓은 시각을 보려면 LLM 비용은 얼마인가 페이지를 참조하세요. 대신 렌트해야 하는 이유: 급증하는 사용량, 다양한 크기의 실험, VRAM 추가 구매 없이 긴 컨텍스트 창이 필요할 때, 그리고 드라이버 및 추론 서버 유지보수를 원치 않을 때. 여기서 호스팅 옵션은 100,000 토큰의 컨텍스트 창을 제공하며, 이는 홈 환경에서 KV 캐시에 많은 메모리가 필요함을 의미합니다.
세 사람, 세 가지 답변
숫자는 실제 상황과 일치할 때 더 신뢰하기 쉽습니다. 여기 세 가지 프로필이 있으며, 1M 토큰당 $0.15 및 $0.50의 가격과 3:1 입력 비율로 책정되어 있습니다.
- 취미 개발자은 하루 1~2시간 채팅하고 월 총 10M 토큰을 보냅니다. 토큰 100만 개당 혼합 $0.2375 기준 $2.38입니다. 이는 소형 빌드 월 $41.28과 비교됩니다. API는 약 17배 더 저렴합니다.
- 개발자는 편집기 보조 도구와 테스트 스크립트를 실행합니다. 월 약 60M 토큰을 사용하며, API 기준 비용은 $14.25입니다. 중형 빌드 비용은 월 $55.17이므로, 그래픽 카드를 이미 보유하고 있지 않다면 API가 여전히 큰 격차로 우위를 점합니다.
- 배치 운영자은 문서 분류를 하루 종일 수행하며 월 400M 토큰을 처리합니다. API 기준 $95.00입니다. 중형 빌드는 월 $55.17로 실제 해당 볼륨을 처리할 수 있다면 더 저렴합니다. 그러나 출력 초당 30토큰의 속도로 월 약 77.8M 출력 토큰, 동일한 비율로 총 311M 토큰에 도달합니다. 따라서 운영자는 두 번째 카드를 필요로 하거나 볼륨을 낮게 받아들여 로컬 비용을 높여야 합니다.
패턴은 일관적입니다. API는 사용량이 일정하고 많으며 로컬 용량이 병목이 될 때까지 우위를 점합니다. 동시성도 다릅니다. 여기서 전체 키는 8개의 동시 요청을 허용하지만, 단일 데스크톱 GPU는 일반적으로 최대 속도로 한 번에 하나의 요청만 처리합니다.
더 적게 쓰고, 영수증에서 누락된 것들
하드웨어 비용 절감 방법
- 중고 구매. 이전 세대 24 GB 메모리 카드는 종종 기가바이트당 가장 좋은 가치를 제공합니다. 판매자를 확인하고 도착 시 부하 상태에서 카드를 테스트하십시오.
- 레이어 오프로드. llama.cpp와 같은 추론 엔진은 시스템 RAM에 모델의 일부를 유지할 수 있습니다. 실행되지만 더 느리므로 속도가 중요하지 않을 때만 사용하십시오.
- 더 작은 모델을 선택하세요. 잘 튜닝된 8B 모델은 12 GB 카드에서 많은 일상 작업을 처리합니다. 작업에 필요할 때만 크기에 대해 비용을 지불하세요.
- GPU 시간을 시간 단위로 렌트합니다. 클라우드 GPU 렌탈은 구매 비용을 피할 수 있지만 자체 시간당 요금이 있으므로 현재 가격표를 확인하고 토큰 기반 과금과 비교해 보세요.
사람들이 잊어버리는 숨겨진 비용
- 감가상각. GPU는 새로운 카드가 출시됨에 따라 중고 가치가 하락합니다. 위의 36개월 수명은 추정치입니다.
- 고장 및 교체. 전원 공급 장치나 팬의 고장은 예상치 못한 비용입니다.
- 업그레이드. 새로운 오픈 웨이트 모델은 일반적으로 더 큽니다. 오늘의 선호 모델에 맞는 카드는 내년의 모델에는 맞지 않을 수 있습니다.
- 시간. 설정, 업데이트 및 디버깅에는 실제 시간이 소요됩니다. 이를 가치 있게 생각한다면 추가하십시오.
- 소음과 열. 작은 방에 있는 450W 기계는 소리가 들리고 뜨겁습니다.
이 중 어느 것도 영수증에 표시되지 않으므로, 많은 사람이 생각하는 것보다 장비가 더 저렴해 보이는 것입니다.
자신의 손익분기점 확인
숫자를 선택하고 실행하세요. 이 도구는 모든 비용이 포함된 월 로컬 비용을 가져와 이 서비스 가격으로 API와 일치하는 월 토큰 볼륨을 출력합니다.
local_monthly = 55.17 # hardware per month + electricity
in_price, out_price = 0.15, 0.50 # dollars per 1M tokens
ratio = 3 # input tokens per output token
blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")실제 볼륨이 그보다 훨씬 낮다면 API를 사용하십시오. 볼륨을 측정하려면 API 키 페이지에서 체험 크레딧을 활성화하고, 모델 uncensored로 https://api.uncensoredlocalllm.com/v1에 실제 프롬프트를 실행한 후 각 응답에서 토큰 사용량을 확인하십시오. 요청 형식에 대해서는 문서를, 충전 방법은 가격 책정 페이지를 참조하십시오.
더 많은 가이드
질문과 답변
로컬에서 LLM을 실행할 수 있는 PC는 얼마나 들까요?
원하는 모델 크기에 따라 다릅니다. 이 기사의 가격 기준 소형 빌드는 약 $1,000, 24GB 카드가 있는 중형 빌드는 약 $1,500입니다. 계획하기 전에 현재 시장 가격을 확인하세요.
로컬 LLM을 실행하려면 GPU가 필요합니까?
아니요. 충분한 RAM이 있는 CPU에서 작은 모델을 실행할 수 있지만 생성 속도는 훨씬 느립니다. 가중치에 충분한 메모리가 있는 GPU가 실용적인 이유입니다.
언제 로컬 LLM이 API보다 저렴합니까?
머신이 하루 많은 시간 동안 바쁠 때, 하드웨어를 이미 보유하고 있을 때, 또는 오프라인 작업이 필요할 때. 이 기사의 가격 기준 중형 빌드는 하루 추론 시간 18시간 근처에서 손익분기점에 도달합니다.
하드웨어 구매 전에 API를 사용해 볼 수 있습니까?
네. 신규 사용자는 카드 없이 $0.50의 체험 크레딧을 청구할 수 있으며, 실제 프롬프트를 실행하여 품질과 비용을 확인할 수 있습니다.