本地 LLM 硬體成本:API 更划算時
可用的本地模型需要具有大量記憶體的 GPU、適用的主機電腦和電費。分攤至三年後,每月的成本遠高於大多數人在 token 上的花費。


重點摘要
- GPU 的記憶體而非原始速度,決定了你能運行什麼以及需要支付多少費用。
- 根據下方的示範組裝,損益兩平點約為每月 232M token,或每天大約 18 小時的生成時間。
- API 在低量與突發流量下勝出;本地組態在持續大量使用、隱私需求與離線工作方面勝出。
- 將此處的所有硬體價格視為佔位符,並檢查當前市場價格。
驅動價格的因素
本地 LLM 硬體成本主要來自一個元件:顯示卡,以及其視訊記憶體(VRAM)的大小。模型權重必須裝入 VRAM,否則會放入 VRAM 與系統記憶體較慢的混合儲存中。權重本身的粗略估算公式為:參數數量乘以每個權重的位元數再除以八。擁有 80 億參數且採用 4-bit 量化的模型約需 4 GB。擁有 700 億參數且採用 4-bit 量化的模型約需 35 GB。此外,你還需要為 KV 快取保留空間,其大小會隨上下文長度增長,並需保留一些剩餘空間。
這就是為什麼價格曲線如此陡峭。12 GB 記憶體的卡可以運行小型模型。24 GB 的卡可以輕鬆運行中型模型。更大的模型意味著需要兩張卡或工作站硬體。速度不如容量重要:能容納模型的較慢卡,比無法容納模型的較快卡更好。
預算型、中階型與大型組裝方案
以下價格為示意性假設,並非報價。二手與新品的價格不斷變動,請以你實際找到的價格取代。重點在於計算的模式。
| 項目 | 小型組裝方案 | 中型組裝方案 | 大型組裝方案 |
|---|---|---|---|
| GPU 記憶體 | 12 GB | 24 GB | 2 x 24 GB |
| GPU(假設) | $350 | $800 | $1,600 |
| CPU、主機板、32 至 64 GB RAM、SSD(假設) | $500 | $600 | $900 |
| 電源供應器、機殼、散熱(假設) | $150 | $100 | $200 |
| 總計(假設) | $1,000 | $1,500 | $2,700 |
如果你已經擁有配備合適顯示卡的遊戲電腦,你的邊際硬體成本為零,本文其餘部分會大幅傾向於本地方案。如果你正在購買新硬體,表格中的數據會更接近現實。
將購買轉化為每月成本
將組裝成本分攤到實際使用週期,並加上電費。$1,500的中型組裝分 36 個月計算,每月約 $41.67。加上電力成本:一台每天運行約四小時的機器,負載時 450 W、閒置時 60 W,電價 $0.15/kWh,每月約 $13.50。總計:每月 $55.17。
| 組裝方案 | 每月硬體成本(36 個月) | 每月電力成本(每天 4 小時) | 每月總計 |
|---|---|---|---|
| 小型 | $27.78 | $13.50 | $41.28 |
| 中型 | $41.67 | $13.50 | $55.17 |
| 大型 | $75.00 | $23.40 | $98.40 |
大型組裝的電力數據假設負載時 800 W、閒置時 100 W:每天 3.2 kWh 加上 2.0 kWh 共 5.2 kWh,乘以 30 為 156 kWh,乘以 $0.15 為 $23.40。
與按 token 計費的損益平衡點
現在將該每月數據轉換為 token。假設聊天流量中每個輸出 token 對應三個輸入 token。100 萬個輸出 token 加上 300 萬個輸入 token 的成本為 1 x $0.50 + 3 x $0.15 = $0.95(針對 400 萬個 token),每 1M token 的加權平均價格為 $0.2375。針對中型組裝方案:
- $55.17 除以每 1M token $0.2375,損益平衡點約為每月 232M token。
- 其中四分之一為輸出:約 58M 輸出 token。
- 以每秒 30 個 token 的速度運行,一台機器若連續滿載運行 30 天(2.592M 秒乘以 30),將產生約 77.8M 輸出 token。
以每秒 30 個 token 的速度,產生 58M 輸出 token 需要 1.94M 秒,約 538 小時,這意味著每天需要運算 17.9 小時。單人輸入提示詞不會產生這種流量。批次處理管線或多用戶服務則可能達到。
本地部署仍具優勢的場景
損益兩平點表明 API 對大多數個人來說更便宜。這並不表示本地部署毫無意義。購買硬體的其他理由:
- 你已經擁有顯示卡。 此時僅需計算電費。
- 持續負載。 全天候運行的管線(如大規模分類任務)能讓 GPU 保持足夠的負載以超過損益平衡點。
- 離線或氣隙隔離環境。 無需網路、無按 token 計費、資料不會離開建築物。
- 權重實驗。如果你想調整量化、合併模型或執行自己的微調,你需要將檔案存放在本機磁碟上。
若要更廣泛地了解 LLM 的一般使用成本,請參閱LLM 的成本是多少頁面。選擇租用的理由包括:使用量波動大、對不同大小的模型進行大量實驗、需要長上下文但不想購買更多 VRAM,以及不想維護驅動程式和推理伺服器。此託管選項提供 100,000 token 的上下文視窗,這在本地環境中需要大量記憶體來儲存 KV 快取。
三人,三種答案
數字在符合真實情境時比較容易讓人信任。以下是三種使用者類型,定價為每 1M token $0.15 和 $0.50,並採用 3:1 的輸入比例。
- 業餘愛好者每天聊天一兩個小時,每月總共發送約 10M token。以每 1M token $0.2375 的加權平均價格計算,費用為 $2.38。與小型組裝方案每月 $41.28 相比,API 便宜約十七倍。
- 開發人員運行編輯器助手和測試腳本,每月約 60M token:透過 API 費用為 $14.25。中型組裝方案每月成本為 $55.17,因此除非顯示卡已經擁有,否則 API 仍具有明顯優勢。
- 批次處理操作員全天候分類文件,每月 400M token:透過 API 費用為 $95.00。若實際能處理該產量,中型組裝方案 ($55.17) 較便宜,但以每秒 30 token 的輸出速度計算,每月輸出上限約為 77.8M token,考慮相同的比例,總計約 311M token。因此,操作員需要第二張顯示卡,或者必須接受較低的產量,這會導致本地成本上升。
模式是一致的:直到使用量持續且龐大時,API 才會勝出,此後本地容量成為瓶頸。並行請求能力也不同。此處的完整金鑰允許 8 個並行請求,而單張桌面 GPU 通常一次只能以全速處理一個請求。
花費更少,以及收據未涵蓋的部分
降低硬體支出的方法
- 購買二手。具有 24 GB 記憶體的上一代顯示卡通常是每 GB 最具價值的選擇。檢查賣家,並在收到貨物後在負載下測試顯示卡。
- 將層級卸載至系統記憶體。llama.cpp 等推理引擎可以將模型的部分層級保留在系統記憶體中。雖然可以運行,但速度較慢,因此僅在速度不重要時才使用此方法。
- 選擇較小的模型。經過良好微調的 8B 模型在 12 GB 顯示卡上可以涵蓋許多日常任務。僅在任務需要時才為更大的模型付費。
- 按小時租用 GPU 時間。雲端 GPU 租用避免了購買成本,但有各自的每小時費率,因此請檢查其目前的定價,並與每 token 計費進行比較。
人們常忽略的隱藏成本
- 折舊。隨著新顯示卡的推出,GPU 的二手價值會下降。上述的 36 個月壽命僅為估算值。
- 故障與更換。電源供應器或風扇故障會帶來意外的費用。
- 升級。新的開放權重模型往往更大。適合今天最受歡迎模型的顯示卡,明年可能就不適合了。
- 時間。設定、更新和除錯都是實際耗費的時間。如果你重視這些時間,請將它們計算在內。
- 噪音與發熱。一台 450 W 的機器在狹小的房間內會發出噪音且發熱。
這些項目都不會出現在收據上,這就是為什麼在人們的觀念中,硬體組裝方案看起來比實際更便宜。
計算你自己的損益平衡點
輸入你的數值並執行此計算。它會將你的每月本地總成本與此服務價格下的每月 token 量進行比較,並顯示當 API 成本與本地成本持平時的 token 量。
local_monthly = 55.17 # hardware per month + electricity
in_price, out_price = 0.15, 0.50 # dollars per 1M tokens
ratio = 3 # input tokens per output token
blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")如果你的實際用量遠低於此,請使用 API。要測量你的用量,請在 API 金鑰頁面取得試用額度,使用模型 uncensored 對 https://api.uncensoredlocalllm.com/v1 發送你的實際提示詞,並查看每個回應中的 token 用量。請參閱 文件以了解請求格式,以及 定價頁面以進行儲值。
更多指南
問答
一台能在本地運行 LLM 的電腦需要多少錢?
這取決於你想要的模型大小。根據本文中的示例價格,小型組裝方案約為 $1,000,配備 24 GB 顯示卡的中型組裝方案約為 $1,500。在規劃前請檢查目前的市場價格。
運行本地 LLM 需要 GPU 嗎?
不需要,具有足夠 RAM 的 CPU 可以運行小型模型,但生成速度會慢很多。具有足夠記憶體來存放權重的 GPU 才是讓其實用的關鍵。
何時本地 LLM 比 API 更便宜?
當機器每天忙碌數小時、你已經擁有硬體,或你需要離線操作時。根據本文的價格,中型組裝方案在每天生成約 18 小時時達到損益平衡。
我可以在購買硬體之前先試用 API 嗎?
可以。新用戶可以無需信用卡領取 $0.50 的試用額度,並執行你的真實提示詞以查看品質和成本。