本地 LLM 電費 vs 按 token 付費
在自己的 GPU 上運行模型並非免費:生成時卡會消耗實際電力,閒置時 PC 也會持續耗電。以下是估算方法,以及何時按 token API 更划算。


重點摘要
- 單人設定約每秒 30 token,每 1M 輸出 token 的電費約 $0.63(不含硬體)。
- 輕度使用時 API 較便宜。重度每日使用時,本地機房僅在電力成本上即可勝過 API。
- 當 PC 整天開機時,閒置功耗的影響比大多數人預期的更大。
- 硬體購買成本而非電費,通常是真正的損益平衡點。
簡短答案
本機 LLM 的電費取決於三個數值:機器生成時消耗的瓦數、每天運作的時數,以及電費單價(每度電)。對於典型的單顯示卡桌面環境,每月費用落在幾美元到幾十美元之間。這與硬體價格相比很小,但並非零,且與按 token 付費相比,這筆費用足以構成影響。
以下計算使用可替換為您自身數據的假設。API 側使用此服務的實際價格:每 1M 輸入 token $0.15,每 1M 輸出 token $0.50。
公式
電費等於能量乘以單價。千瓦時的能量等於千瓦功率乘以小時數。
monthly_kwh = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwh若有插電式電表請使用它。它測量牆壁插座的整機功耗,這正是你付費的部分。僅查看 GPU 規格表上的標稱板載功耗只能看到部分情況,因為 CPU、記憶體、硬碟、風扇和電源供應器損耗都會增加總功耗。
範例假設:
- 生成時牆壁功耗為450 W(一張標稱約 350 W 的卡加上系統其餘部分)。
- PC 開機但閒置時牆壁功耗為60 W。
- 每度電 $0.15。這是假設值。費率因國家和一天中的時段而有很大差異,請替換為你帳單上的數字。
- 每秒 30 tokens的生成速度(單一使用者)。您的速度取決於模型、量化方式以及顯示卡。
三種使用量級,已計算
取輕度、中度和重度使用者。每種情況下機器全天運行,因此計算閒置小時數。
| 使用量 | 每日生成量 | 每月能耗 | 每月電費 | 每月輸出 token |
|---|---|---|---|---|
| 輕度 | 1 小時 | 54.9 kWh | $8.24 | 3.24M |
| 中等 | 4 小時 | 90.0 kWh | $13.50 | 12.96M |
| 重度 | 12 小時 | 183.6 kWh | $27.54 | 38.88M |
以下是中等用量行的逐步計算。生成:4 小時乘以 0.45 kW 等於每天 1.8 kWh。閒置:20 小時乘以 0.06 kW 等於每天 1.2 kWh。總計每天 3.0 kWh,因此 30 天共 90 kWh,以 $0.15 計為 $13.50。Token:4 小時等於 14,400 秒,乘以每秒 30 個 token 等於每天 432,000 個 token,或每月 12.96M 個 token。
注意輕度使用者僅消耗 3.24M 個 token 卻需支付 $8.24。閒置功耗佔了帳單的大部分:23 小時閒置乘以 60 W 等於每天 1.38 kWh,超過生成所花費的 0.45 kWh 兩倍以上。
相同 token 透過 API 的成本
聊天情境發送的 token 多於接收的 token,因為每個請求都包含系統提示詞和目前的對話歷史。假設每產生一個輸出 token 需要三個輸入 token,這是帶有歷史記錄的聊天合理的比例。然後每月帳單在 $0.15 和每 1M 個 token $0.50 的情況下為:
| 使用量 | 輸出成本 | 輸入成本(輸出 token 的 3 倍) | API 總計 | 本地電費 |
|---|---|---|---|---|
| 輕度 | 3.24M x $0.50 = $1.62 | 9.72M x $0.15 = $1.46 | $3.08 | $8.24 |
| 中等 | 12.96M x $0.50 = $6.48 | 38.88M x $0.15 = $5.83 | $12.31 | $13.50 |
| 重度 | 38.88M x $0.50 = $19.44 | 116.64M x $0.15 = $17.50 | $36.94 | $27.54 |
有兩點很突出。首先,每天生成時間低於約四小時時,API 比單獨的電費更便宜。其次,每天十二小時時,本地機房在功耗上勝出,因為閒置比例縮小,且你正在使用已經付費購買的硬體。API 費用也包含輸入處理,這在現金成本上你的 GPU 是免費的,但仍會消耗能量。Prefill 很快,所以我將其排除在本地側之外;這稍微有利於本地方案。
每百萬 token 的電費
一種有用的比較方式是僅在生成期間每 1M 輸出 token 的能量成本。以 450 W 和每秒 30 token 計算,一百萬 token 約需 33,333 秒,或 9.26 小時。這等於 4.17 kWh,以每 kWh $0.15 計約為$0.63。API 每 1M 輸出 token 收取 $0.50,輸入則以每 1M $0.15 單獨計費。
因此,甚至在計算 GPU 之前,每秒生成 30 token 的單一使用者在每個輸出 token 上的電力支出已高於 API 價格。僅當你的硬體更快或電力更便宜時,差距才會縮小。若達到每秒 60 token,同樣的計算約為 $0.31。若每 kWh $0.08 且每秒 30 token,則約為 $0.33。任一變數都會改變結果,請自行計算。
批次處理是例外。一次處理多個請求的伺服器,每個 token 的能耗較低,這也是託管業者能夠提供低價的原因。個人桌面電腦通常不會從中受益。
公式未涵蓋的部分
- 硬體。運行實用模型的 GPU 成本遠高於上述一年的電費。分攤到其整個生命週期,硬體成本通常佔總成本的大頭。LLM 成本是多少頁面詳細說明了購買方面的成本。
- 散熱與噪音。 在炎熱氣候下,450 W 產生的熱量也會增加空調負載。在冬季,這部分熱量可作為暖氣使用。
- 更大的模型。 需要兩張顯示卡的模型,其負載數值大約會翻倍。
- 你的時間。 更新驅動程式、選擇量化版本以及修復記憶體不足錯誤都是工作,而 API 則免除了這些工作。
另一方面,本地模型每次額外請求的成本為零,且可離線運作。如果你每天運行數小時,這將產生影響。
降低本地費用的方法
如果你選擇本地部署,一些習慣可以在不改變模型的情況下降低費用。
- 讓機器進入休眠。 在溫和情況下,將全天待機功耗從 60 W 降至休眠狀態(佔 20 小時中的 16 小時),每月可節省約 29 kWh,以每 kWh $0.15 計算,約為 $4.32。
- 限制 GPU 功耗上限。 當功耗上限降低 20% 至 30% 時,許多顯示卡的生成速度損失很小。請測試你自己的顯示卡,因為結果因模型和驅動程式而異。
- 對於常規任務使用較小的量化或模型。 較少的權重位元組意味著較少的記憶體流量和更快的生成速度,從而縮短顯示卡忙碌的時間。
- 在分時電價下運行。 如果你的公用事業在夜間收費較低,請將批次作業排程在這些時段進行。
檢查休眠節省:16 小時乘以 0.06 kW 等於每天 0.96 kWh,乘以 30 等於 28.8 kWh,乘以 $0.15 等於 $4.32。雖然這不會改變數量級,但電費相對於硬體本身在總成本中仍佔很小一部分。
用實際數字測試 API 端
你可以以低廉成本將 API 估算值與你的實際負載進行比較。新使用者在註冊後,只需在 API 金鑰頁面上點擊一次,即可領取 $0.50 的試用額度,無需信用卡,有效期為 7 天。發送幾個真實的請求,然後讀取 X-Balance-USD 回應標頭,查看它們的成本。
curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'比較前後餘額,按預期請求數量進行縮放,並與你的電費估算值進行比較。費率和儲值獎勵列在 定價頁面 上,請求詳情請參閱 文件。
更多指南
問答
本地 LLM 使用多少電?
單 GPU 桌面在生成時通常消耗幾百瓦,待機時則低於 100 W。使用插電式電表測量牆壁端的功耗,然後乘以小時數和你的每 kWh 價格。
模型大部分時間是否處於空閒狀態?
對於大多數個人設置而言,是的。空閒功耗可能大於生成能耗,因此在會話之間讓 PC 進入休眠可以節省費用。
本地 LLM 比 API 更便宜嗎?
在輕度或中度使用下,一旦計算電力,通常並不便宜;一旦包含硬體成本,則完全不便宜。但在每天大量生成時,僅電力方面就可能佔優勢。
我可以免費測試 API 成本嗎?
是的。$0.50 的一鍵試用額度無需信用卡,餘額標頭會顯示每個請求的成本。