繁中 ▾
取得 API 金鑰

uncensoredlocalllm.com指南

本地 LLM 硬體成本:API 更划算時

可用的本地模型需要具有大量記憶體的 GPU、適用的主機電腦和電費。分攤至三年後,每月的成本遠高於大多數人在 token 上的花費。

更新於

平衡秤顯示 PC 硬體與 token 雲的對比,展示本地 LLM 硬體成本與 API 的比較
本地 GPU 連接到託管雲的等距插圖,代表本地與 API 編程模型

重點摘要

  • GPU 的記憶體而非原始速度,決定了你能運行什麼以及需要支付多少費用。
  • 根據下方的示範組裝,損益兩平點約為每月 232M token,或每天大約 18 小時的生成時間。
  • API 在低量與突發流量下勝出;本地組態在持續大量使用、隱私需求與離線工作方面勝出。
  • 將此處的所有硬體價格視為佔位符,並檢查當前市場價格。

驅動價格的因素

本地 LLM 硬體成本主要來自一個元件:顯示卡,以及其視訊記憶體(VRAM)的大小。模型權重必須裝入 VRAM,否則會放入 VRAM 與系統記憶體較慢的混合儲存中。權重本身的粗略估算公式為:參數數量乘以每個權重的位元數再除以八。擁有 80 億參數且採用 4-bit 量化的模型約需 4 GB。擁有 700 億參數且採用 4-bit 量化的模型約需 35 GB。此外,你還需要為 KV 快取保留空間,其大小會隨上下文長度增長,並需保留一些剩餘空間。

這就是為什麼價格曲線如此陡峭。12 GB 記憶體的卡可以運行小型模型。24 GB 的卡可以輕鬆運行中型模型。更大的模型意味著需要兩張卡或工作站硬體。速度不如容量重要:能容納模型的較慢卡,比無法容納模型的較快卡更好。

預算型、中階型與大型組裝方案

以下價格為示意性假設,並非報價。二手與新品的價格不斷變動,請以你實際找到的價格取代。重點在於計算的模式。

項目小型組裝方案中型組裝方案大型組裝方案
GPU 記憶體12 GB24 GB2 x 24 GB
GPU(假設)$350$800$1,600
CPU、主機板、32 至 64 GB RAM、SSD(假設)$500$600$900
電源供應器、機殼、散熱(假設)$150$100$200
總計(假設)$1,000$1,500$2,700

如果你已經擁有配備合適顯示卡的遊戲電腦,你的邊際硬體成本為零,本文其餘部分會大幅傾向於本地方案。如果你正在購買新硬體,表格中的數據會更接近現實。

將購買轉化為每月成本

將組裝成本分攤到實際使用週期,並加上電費。$1,500的中型組裝分 36 個月計算,每月約 $41.67。加上電力成本:一台每天運行約四小時的機器,負載時 450 W、閒置時 60 W,電價 $0.15/kWh,每月約 $13.50。總計:每月 $55.17。

組裝方案每月硬體成本(36 個月)每月電力成本(每天 4 小時)每月總計
小型$27.78$13.50$41.28
中型$41.67$13.50$55.17
大型$75.00$23.40$98.40

大型組裝的電力數據假設負載時 800 W、閒置時 100 W:每天 3.2 kWh 加上 2.0 kWh 共 5.2 kWh,乘以 30 為 156 kWh,乘以 $0.15 為 $23.40。

與按 token 計費的損益平衡點

現在將該每月數據轉換為 token。假設聊天流量中每個輸出 token 對應三個輸入 token。100 萬個輸出 token 加上 300 萬個輸入 token 的成本為 1 x $0.50 + 3 x $0.15 = $0.95(針對 400 萬個 token),每 1M token 的加權平均價格為 $0.2375。針對中型組裝方案:

  • $55.17 除以每 1M token $0.2375,損益平衡點約為每月 232M token。
  • 其中四分之一為輸出:約 58M 輸出 token。
  • 以每秒 30 個 token 的速度運行,一台機器若連續滿載運行 30 天(2.592M 秒乘以 30),將產生約 77.8M 輸出 token。

以每秒 30 個 token 的速度,產生 58M 輸出 token 需要 1.94M 秒,約 538 小時,這意味著每天需要運算 17.9 小時。單人輸入提示詞不會產生這種流量。批次處理管線或多用戶服務則可能達到。

本地部署仍具優勢的場景

損益兩平點表明 API 對大多數個人來說更便宜。這並不表示本地部署毫無意義。購買硬體的其他理由:

  • 你已經擁有顯示卡。 此時僅需計算電費。
  • 持續負載。 全天候運行的管線(如大規模分類任務)能讓 GPU 保持足夠的負載以超過損益平衡點。
  • 離線或氣隙隔離環境。 無需網路、無按 token 計費、資料不會離開建築物。
  • 權重實驗。如果你想調整量化、合併模型或執行自己的微調,你需要將檔案存放在本機磁碟上。

若要更廣泛地了解 LLM 的一般使用成本,請參閱LLM 的成本是多少頁面。選擇租用的理由包括:使用量波動大、對不同大小的模型進行大量實驗、需要長上下文但不想購買更多 VRAM,以及不想維護驅動程式和推理伺服器。此託管選項提供 100,000 token 的上下文視窗,這在本地環境中需要大量記憶體來儲存 KV 快取。

三人,三種答案

數字在符合真實情境時比較容易讓人信任。以下是三種使用者類型,定價為每 1M token $0.15 和 $0.50,並採用 3:1 的輸入比例。

  • 業餘愛好者每天聊天一兩個小時,每月總共發送約 10M token。以每 1M token $0.2375 的加權平均價格計算,費用為 $2.38。與小型組裝方案每月 $41.28 相比,API 便宜約十七倍。
  • 開發人員運行編輯器助手和測試腳本,每月約 60M token:透過 API 費用為 $14.25。中型組裝方案每月成本為 $55.17,因此除非顯示卡已經擁有,否則 API 仍具有明顯優勢。
  • 批次處理操作員全天候分類文件,每月 400M token:透過 API 費用為 $95.00。若實際能處理該產量,中型組裝方案 ($55.17) 較便宜,但以每秒 30 token 的輸出速度計算,每月輸出上限約為 77.8M token,考慮相同的比例,總計約 311M token。因此,操作員需要第二張顯示卡,或者必須接受較低的產量,這會導致本地成本上升。

模式是一致的:直到使用量持續且龐大時,API 才會勝出,此後本地容量成為瓶頸。並行請求能力也不同。此處的完整金鑰允許 8 個並行請求,而單張桌面 GPU 通常一次只能以全速處理一個請求。

花費更少,以及收據未涵蓋的部分

降低硬體支出的方法

  • 購買二手。具有 24 GB 記憶體的上一代顯示卡通常是每 GB 最具價值的選擇。檢查賣家,並在收到貨物後在負載下測試顯示卡。
  • 將層級卸載至系統記憶體。llama.cpp 等推理引擎可以將模型的部分層級保留在系統記憶體中。雖然可以運行,但速度較慢,因此僅在速度不重要時才使用此方法。
  • 選擇較小的模型。經過良好微調的 8B 模型在 12 GB 顯示卡上可以涵蓋許多日常任務。僅在任務需要時才為更大的模型付費。
  • 按小時租用 GPU 時間。雲端 GPU 租用避免了購買成本,但有各自的每小時費率,因此請檢查其目前的定價,並與每 token 計費進行比較。

人們常忽略的隱藏成本

  • 折舊。隨著新顯示卡的推出,GPU 的二手價值會下降。上述的 36 個月壽命僅為估算值。
  • 故障與更換。電源供應器或風扇故障會帶來意外的費用。
  • 升級。新的開放權重模型往往更大。適合今天最受歡迎模型的顯示卡,明年可能就不適合了。
  • 時間。設定、更新和除錯都是實際耗費的時間。如果你重視這些時間,請將它們計算在內。
  • 噪音與發熱。一台 450 W 的機器在狹小的房間內會發出噪音且發熱。

這些項目都不會出現在收據上,這就是為什麼在人們的觀念中,硬體組裝方案看起來比實際更便宜。

計算你自己的損益平衡點

輸入你的數值並執行此計算。它會將你的每月本地總成本與此服務價格下的每月 token 量進行比較,並顯示當 API 成本與本地成本持平時的 token 量。

local_monthly = 55.17        # hardware per month + electricity
in_price, out_price = 0.15, 0.50   # dollars per 1M tokens
ratio = 3                    # input tokens per output token

blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")

如果你的實際用量遠低於此,請使用 API。要測量你的用量,請在 API 金鑰頁面取得試用額度,使用模型 uncensored 對 https://api.uncensoredlocalllm.com/v1 發送你的實際提示詞,並查看每個回應中的 token 用量。請參閱 文件以了解請求格式,以及 定價頁面以進行儲值。

問答

一台能在本地運行 LLM 的電腦需要多少錢?

這取決於你想要的模型大小。根據本文中的示例價格,小型組裝方案約為 $1,000,配備 24 GB 顯示卡的中型組裝方案約為 $1,500。在規劃前請檢查目前的市場價格。

運行本地 LLM 需要 GPU 嗎?

不需要,具有足夠 RAM 的 CPU 可以運行小型模型,但生成速度會慢很多。具有足夠記憶體來存放權重的 GPU 才是讓其實用的關鍵。

何時本地 LLM 比 API 更便宜?

當機器每天忙碌數小時、你已經擁有硬體,或你需要離線操作時。根據本文的價格,中型組裝方案在每天生成約 18 小時時達到損益平衡。

我可以在購買硬體之前先試用 API 嗎?

可以。新用戶可以無需信用卡領取 $0.50 的試用額度,並執行你的真實提示詞以查看品質和成本。

uncensoredlocalllm.com

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。