로컬 LLM 전력 비용 vs 토큰별 요금
자신의 GPU에서 모델을 실행하는 것은 무료가 아닙니다: 생성 중에는 실제 전력을 소비하며, 대기 중에도 PC는 일부 전력을 소비합니다. 이를 추정하는 방법과 토큰별 API가 더 저렴해지는 시기를 확인하세요.


주요 포인트
- 초당 약 30 토큰의 단일 사용자 환경에서는 하드웨어 비용 제외하고 100만 출력 토큰당 약 $0.63의 전력이 소모됩니다.
- 경미한 사용 시 API가 저렴합니다. 하루에 많은 사용 시 로컬 장비가 전력만으로 이를 능가할 수 있습니다.
- PC가 종일 켜져 있는 경우 대기 전력은 대부분의 사람들이 예상하는 것보다 더 중요합니다.
- 실제 손익 분기점은 전력이 아닌 하드웨어 구매로 결정됩니다.
짧은 답변
로컬 llm 전력 비용은 생성 중 기계가 소비하는 와트 수, 하루 생성 시간, 킬로와트시당 요금이라는 세 가지 숫자에 따라 달라집니다. 일반적인 단일 GPU 데스크톱의 월 비용은 몇 달러에서 수십 달러 사이입니다. 이는 하드웨어 가격에 비해 작지만 0은 아니며, 토큰별 요금과 비교할 때 중요합니다.
아래 계산은 사용자 자신의 가정으로 대체할 수 있는 가정치를 사용합니다. API 측에는 이 서비스의 실제 가격이 사용됩니다: 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50.
공식
전기 요금은 에너지량에 단가(단위 요금)를 곱한 것입니다. 킬로와트시 단위의 에너지량은 킬로와트 단위의 전력에 사용 시간을 곱한 값입니다.
monthly_kwh = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwh사용 가능한 경우 플러그인 전력계를 사용하세요. 이는 벽면 콘센트에서의 전체 시스템 전력을 측정하며, 이는 우리가 지불하는 실제 요금입니다. GPU의 명세서에 기재된 정격 보드 전력만으로는 전체 상황을 파악하기 어렵습니다. CPU, 메모리, 저장 장치, 팬 및 전원 공급 장치의 손실이 추가되기 때문입니다.
예제에서는 다음을 가정합니다:
- 모델 생성 시 벽면 콘센트에서의 전력 소모량: 450 W (정격이 약 350 W인 그래픽 카드와 시스템의 나머지 부분 포함).
- PC가 켜져 있지만 대기 상태일 때 벽면 콘센트에서의 전력 소모량: 60 W.
- kWh당 $0.15. 이는 가정치입니다. 요금은 국가와 시간대에 따라 크게 다르므로 청구서의 숫자로 대체하세요.
- 초당 30토큰의 생성 속도를 단일 사용자에게 제공합니다. 속도는 모델, 양자화 방식 및 GPU에 따라 달라집니다.
세 가지 사용 수준의 계산 결과
가벼운 사용자, 중간 사용자, 무거운 사용자를 고려하세요. 각 경우에서 기계는 하루 종일 켜져 있으므로 대기 시간이 포함됩니다.
| 사용 | 하루 생성량 | 월 에너지 | 월 전력 비용 | 월 출력 토큰 수 |
|---|---|---|---|---|
| 경량 | 1 시간 | 54.9 kWh | $8.24 | 3.24M |
| 중간 | 4 시간 | 90.0 kWh | $13.50 | 12.96M |
| 고사용량 | 12 시간 | 183.6 kWh | $27.54 | 38.88M |
중간 행을 단계별로 설명합니다. 생성: 4시간 x 0.45 kW = 하루 1.8 kWh. 대기: 20시간 x 0.06 kW = 하루 1.2 kWh. 총계 하루 3.0 kWh, 즉 30일 동안 90 kWh, $0.15 기준 $13.50. 토큰: 4시간은 14,400초이며, 초당 30 토큰은 하루 432,000 토큰 또는 월 12.96M 토큰입니다.
경량 사용자가 3.24M 토큰에 대해 $8.24를 지불한다는 점에 주목하세요. 대기 전력이 요금의 대부분을 차지합니다: 23시간 대기 x 60 W = 하루 1.38 kWh로, 생성에 소비된 0.45 kWh의 두 배 이상입니다.
동일한 토큰의 API 비용
채팅 사용은 시스템 프롬프트와 지금까지의 대화 내역을 포함하므로, 입력으로 보내는 토큰이 출력으로 받는 토큰보다 많습니다. 출력 토큰 1개당 입력 토큰 3개를 가정하면(이력이 있는 채팅에 타당한 비율입니다). 그러면 토큰 100만 개당 $0.15 및 $0.50 기준 월별 요금은 다음과 같습니다:
| 사용 | 출력 비용 | 입력 비용 (출력 토큰의 3배) | API 총계 | 로컬 전력 |
|---|---|---|---|---|
| 경량 | 3.24M x $0.50 = $1.62 | 9.72M x $0.15 = $1.46 | $3.08 | $8.24 |
| 중간 | 12.96M x $0.50 = $6.48 | 38.88M x $0.15 = $5.83 | $12.31 | $13.50 |
| 고사양 | 38.88M x $0.50 = $19.44 | 116.64M x $0.15 = $17.50 | $36.94 | $27.54 |
두 가지 주목할 점이 있습니다. 첫째, 하루 생성 시간이 약 4시간 미만이면 API가 전력 비용 자체보다 저렴합니다. 둘째, 하루 12시간이면 로컬 장비가 전력에서 이기는데, 이는 대기 비율이 줄어들고 이미 지불한 실리콘을 사용하고 있기 때문입니다. API 수치에는 입력 처리도 포함되어 있으며, 이는 GPU가 현금 비용으로 무료로 처리하지만 여전히 에너지를 소비합니다. Prefill은 빠르므로 로컬 측에서 제외했습니다; 이는 로컬에 약간 유리합니다.
백만 토큰당 전력
비교하는 유용한 방법은 생성 중 토큰 100만 개당 에너지 비용입니다. 450 W 및 초당 30 토큰으로, 백만 토큰은 약 33,333초 또는 9.26시간이 필요합니다. 이는 4.17 kWh이며, kWh당 $0.15 기준 약 $0.63입니다. API는 출력 토큰 100만 개당 $0.50을 청구하며, 입력은 별도로 $0.15에 청구됩니다.
따라서 GPU 비용을 계산하기 전에도, 초당 30 토큰의 속도로 생성하는 단일 사용자는 출력 토큰당 전력에 더 많은 비용을 지출합니다. 이 격차는 하드웨어가 더 빠르거나 전력이 더 저렴할 때만 줄어듭니다. 초당 60 토큰의 경우 같은 계산은 약 $0.31을 줍니다. kWh당 $0.08과 초당 30 토큰의 경우 약 $0.33을 줍니다. 어느 쪽의 변경도 답을 바꾸므로 직접 계산을 해 보세요.
배치 처리는 예외입니다. 여러 요청을 동시에 처리하는 서버는 토큰당 에너지 소비가 훨씬 적기 때문에 호스팅 제공업체가 낮은 가격을 책정할 수 있습니다. 한 사람이 사용하는 데스크톱은 일반적으로 이 혜택을 거의 받지 못합니다.
공식이 고려하지 않는 사항
- 하드웨어. 유용한 모델을 실행하는 GPU는 위의 전기 요금보다 훨씬 비쌉니다. 수명 전체에 걸쳐 비용이 분산되면 일반적으로 총 비용의 대부분을 차지합니다. LLM 비용이 얼마나 드는지 페이지에서 구매 측면을 다룹니다.
- 냉각 및 소음. 따뜻한 기후에서는 450W의 열이 에어컨 부하를 증가시킵니다. 겨울에는 부분적으로 유용한 난방이 됩니다.
- 더 큰 모델. 두 개의 카드를 필요로 하는 모델은 부하 수치를 대략 두 배로 늘립니다.
- 귀하의 시간. 드라이버 업데이트, 양자화 선택 및 메모리 부족 오류 수정은 API가 제거하는 작업입니다.
반면 로컬 모델은 추가 요청당 비용이 0이며 오프라인에서도 작동합니다. 하루에 여러 시간 동안 실행한다면 이는 중요합니다.
로컬 비용 절감 방법
로컬에서 유지한다면 몇 가지 습관으로 모델을 변경하지 않고도 비용을 줄일 수 있습니다.
- 기계를 절전 모드로 두세요. 하루 종일 60 W의 대기 상태에서 20시간 중 16시간 동안 절전 모드로 가면 중간 정도의 경우 월 약 29 kWh를 절약할 수 있으며, 이는 $0.15 기준 약 $4.32입니다.
- GPU 전력 제한을 설정하세요. 전력 제한을 20~30% 낮추면 생성 속도가 크게 떨어지지 않는 카드들이 많습니다. 모델과 드라이버에 따라 결과가 다르므로 직접 테스트해 보세요.
- 일상 작업에는 더 작은 양자화 또는 모델을 사용하세요. 가중치당 바이트 수가 적으면 메모리 트래픽이 줄어들고 생성 속도가 빨라져서 카드 사용 시간이 단축됩니다.
- 시간대별 요금제에서 실행하세요. 야간에 요금이 더 낮은 유틸리티를 사용한다면 배치 작업을 해당 시간으로 예약하세요.
절전 절약을 확인해 보세요: 16시간 × 0.06 kW는 하루 0.96 kWh이며, 30을 곱하면 28.8 kWh, $0.15를 곱하면 $4.32입니다. 이 중 어느 것도 크기의 순서를 바꾸지는 않습니다. 전기 요금은 하드웨어 자체에 비해 전체에서 작은 부분을 차지합니다.
실제 숫자로 API 측 테스트하기
API 견적을 자신의 워크로드와 저렴하게 확인할 수 있습니다. 새 사용자는 등록 후 API 키 페이지에서 한 번의 클릭으로 $0.50의 체험 크레딧을 청구할 수 있으며, 카드가 필요하지 않고 7일 동안 유효합니다. 몇 가지 실제적인 요청을 보내고 X-Balance-USD 응답 헤더를 읽어서 비용이 얼마인지 확인하세요.
curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'전후 잔액을 비교하고 예상 요청 수로 확장한 후 전기 요금 추정치와 비교하세요. 현재 요금 및 충전 보너스는 요금제 페이지에 나열되어 있으며, 요청 세부 사항은 문서에서 확인할 수 있습니다.
더 많은 가이드
질문과 답변
로컬 LLM은 얼마나 많은 전기를 사용합니까?
단일 GPU 데스크톱은 생성 중에는 수백 와트를 소비하고 대기 상태에서는 100 W 미만으로 떨어집니다. 콘센트 미터로 측정하고 시간과 kWh당 가격으로 곱하세요.
모델이 대부분의 시간 동안 대기 상태입니까?
대부분의 개인 설정에서는 그렇습니다. 대기 전력은 생성 에너지보다 클 수 있으므로 세션 사이에 PC를 절전 모드로 두면 요금이 줄어듭니다.
로컬 LLM이 API보다 저렴합니까?
경미하거나 중간 정도의 사용량에서는 전력을 고려하면 일반적으로 그렇지 않으며, 하드웨어를 포함하면 전혀 그렇지 않습니다. 하루에 많은 시간 동안 생성하면 전력만으로 앞설 수 있습니다.
지불하지 않고 API 비용을 테스트할 수 있습니까?
네. $0.50의 원클릭 무료 체험 크레딧에는 카드가 필요 없으며, 잔액 헤더는 각 요청의 비용을 보여줍니다.