繁中 ▾
取得 API 金鑰

uncensoredlocalllm.com指南

本地 LLM 電費 vs 按 token 付費

在自己的 GPU 上運行模型並非免費:生成時卡會消耗實際電力,閒置時 PC 也會持續耗電。以下是估算方法,以及何時按 token API 更划算。

更新於

連接電表與硬幣的等距 GPU,說明本地 LLM 的電費成本
本地 GPU 連接到託管雲的等距插圖,代表本地與 API 編程模型

重點摘要

  • 單人設定約每秒 30 token,每 1M 輸出 token 的電費約 $0.63(不含硬體)。
  • 輕度使用時 API 較便宜。重度每日使用時,本地機房僅在電力成本上即可勝過 API。
  • 當 PC 整天開機時,閒置功耗的影響比大多數人預期的更大。
  • 硬體購買成本而非電費,通常是真正的損益平衡點。

簡短答案

本機 LLM 的電費取決於三個數值:機器生成時消耗的瓦數、每天運作的時數,以及電費單價(每度電)。對於典型的單顯示卡桌面環境,每月費用落在幾美元到幾十美元之間。這與硬體價格相比很小,但並非零,且與按 token 付費相比,這筆費用足以構成影響。

以下計算使用可替換為您自身數據的假設。API 側使用此服務的實際價格:每 1M 輸入 token $0.15,每 1M 輸出 token $0.50。

公式

電費等於能量乘以單價。千瓦時的能量等於千瓦功率乘以小時數。

monthly_kwh  = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwh

若有插電式電表請使用它。它測量牆壁插座的整機功耗,這正是你付費的部分。僅查看 GPU 規格表上的標稱板載功耗只能看到部分情況,因為 CPU、記憶體、硬碟、風扇和電源供應器損耗都會增加總功耗。

範例假設:

  • 生成時牆壁功耗為450 W(一張標稱約 350 W 的卡加上系統其餘部分)。
  • PC 開機但閒置時牆壁功耗為60 W。
  • 每度電 $0.15。這是假設值。費率因國家和一天中的時段而有很大差異,請替換為你帳單上的數字。
  • 每秒 30 tokens的生成速度(單一使用者)。您的速度取決於模型、量化方式以及顯示卡。

三種使用量級,已計算

取輕度、中度和重度使用者。每種情況下機器全天運行,因此計算閒置小時數。

使用量每日生成量每月能耗每月電費每月輸出 token
輕度1 小時54.9 kWh$8.243.24M
中等4 小時90.0 kWh$13.5012.96M
重度12 小時183.6 kWh$27.5438.88M

以下是中等用量行的逐步計算。生成:4 小時乘以 0.45 kW 等於每天 1.8 kWh。閒置:20 小時乘以 0.06 kW 等於每天 1.2 kWh。總計每天 3.0 kWh,因此 30 天共 90 kWh,以 $0.15 計為 $13.50。Token:4 小時等於 14,400 秒,乘以每秒 30 個 token 等於每天 432,000 個 token,或每月 12.96M 個 token。

注意輕度使用者僅消耗 3.24M 個 token 卻需支付 $8.24。閒置功耗佔了帳單的大部分:23 小時閒置乘以 60 W 等於每天 1.38 kWh,超過生成所花費的 0.45 kWh 兩倍以上。

相同 token 透過 API 的成本

聊天情境發送的 token 多於接收的 token,因為每個請求都包含系統提示詞和目前的對話歷史。假設每產生一個輸出 token 需要三個輸入 token,這是帶有歷史記錄的聊天合理的比例。然後每月帳單在 $0.15 和每 1M 個 token $0.50 的情況下為:

使用量輸出成本輸入成本(輸出 token 的 3 倍)API 總計本地電費
輕度3.24M x $0.50 = $1.629.72M x $0.15 = $1.46$3.08$8.24
中等12.96M x $0.50 = $6.4838.88M x $0.15 = $5.83$12.31$13.50
重度38.88M x $0.50 = $19.44116.64M x $0.15 = $17.50$36.94$27.54

有兩點很突出。首先,每天生成時間低於約四小時時,API 比單獨的電費更便宜。其次,每天十二小時時,本地機房在功耗上勝出,因為閒置比例縮小,且你正在使用已經付費購買的硬體。API 費用也包含輸入處理,這在現金成本上你的 GPU 是免費的,但仍會消耗能量。Prefill 很快,所以我將其排除在本地側之外;這稍微有利於本地方案。

每百萬 token 的電費

一種有用的比較方式是僅在生成期間每 1M 輸出 token 的能量成本。以 450 W 和每秒 30 token 計算,一百萬 token 約需 33,333 秒,或 9.26 小時。這等於 4.17 kWh,以每 kWh $0.15 計約為$0.63。API 每 1M 輸出 token 收取 $0.50,輸入則以每 1M $0.15 單獨計費。

因此,甚至在計算 GPU 之前,每秒生成 30 token 的單一使用者在每個輸出 token 上的電力支出已高於 API 價格。僅當你的硬體更快或電力更便宜時,差距才會縮小。若達到每秒 60 token,同樣的計算約為 $0.31。若每 kWh $0.08 且每秒 30 token,則約為 $0.33。任一變數都會改變結果,請自行計算。

批次處理是例外。一次處理多個請求的伺服器,每個 token 的能耗較低,這也是託管業者能夠提供低價的原因。個人桌面電腦通常不會從中受益。

公式未涵蓋的部分

  • 硬體。運行實用模型的 GPU 成本遠高於上述一年的電費。分攤到其整個生命週期,硬體成本通常佔總成本的大頭。LLM 成本是多少頁面詳細說明了購買方面的成本。
  • 散熱與噪音。 在炎熱氣候下,450 W 產生的熱量也會增加空調負載。在冬季,這部分熱量可作為暖氣使用。
  • 更大的模型。 需要兩張顯示卡的模型,其負載數值大約會翻倍。
  • 你的時間。 更新驅動程式、選擇量化版本以及修復記憶體不足錯誤都是工作,而 API 則免除了這些工作。

另一方面,本地模型每次額外請求的成本為零,且可離線運作。如果你每天運行數小時,這將產生影響。

降低本地費用的方法

如果你選擇本地部署,一些習慣可以在不改變模型的情況下降低費用。

  • 讓機器進入休眠。 在溫和情況下,將全天待機功耗從 60 W 降至休眠狀態(佔 20 小時中的 16 小時),每月可節省約 29 kWh,以每 kWh $0.15 計算,約為 $4.32。
  • 限制 GPU 功耗上限。 當功耗上限降低 20% 至 30% 時,許多顯示卡的生成速度損失很小。請測試你自己的顯示卡,因為結果因模型和驅動程式而異。
  • 對於常規任務使用較小的量化或模型。 較少的權重位元組意味著較少的記憶體流量和更快的生成速度,從而縮短顯示卡忙碌的時間。
  • 在分時電價下運行。 如果你的公用事業在夜間收費較低,請將批次作業排程在這些時段進行。

檢查休眠節省:16 小時乘以 0.06 kW 等於每天 0.96 kWh,乘以 30 等於 28.8 kWh,乘以 $0.15 等於 $4.32。雖然這不會改變數量級,但電費相對於硬體本身在總成本中仍佔很小一部分。

用實際數字測試 API 端

你可以以低廉成本將 API 估算值與你的實際負載進行比較。新使用者在註冊後,只需在 API 金鑰頁面上點擊一次,即可領取 $0.50 的試用額度,無需信用卡,有效期為 7 天。發送幾個真實的請求,然後讀取 X-Balance-USD 回應標頭,查看它們的成本。

curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'

比較前後餘額,按預期請求數量進行縮放,並與你的電費估算值進行比較。費率和儲值獎勵列在 定價頁面 上,請求詳情請參閱 文件。

問答

本地 LLM 使用多少電?

單 GPU 桌面在生成時通常消耗幾百瓦,待機時則低於 100 W。使用插電式電表測量牆壁端的功耗,然後乘以小時數和你的每 kWh 價格。

模型大部分時間是否處於空閒狀態?

對於大多數個人設置而言,是的。空閒功耗可能大於生成能耗,因此在會話之間讓 PC 進入休眠可以節省費用。

本地 LLM 比 API 更便宜嗎?

在輕度或中度使用下,一旦計算電力,通常並不便宜;一旦包含硬體成本,則完全不便宜。但在每天大量生成時,僅電力方面就可能佔優勢。

我可以免費測試 API 成本嗎?

是的。$0.50 的一鍵試用額度無需信用卡,餘額標頭會顯示每個請求的成本。

uncensoredlocalllm.com

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。