本地 LLM 电费与按 token 付费对比
在自己的 GPU 上运行模型并非免费:生成时显卡会消耗实际电力,待机时电脑也会耗电。以下是估算方法,以及何时按 token 计费的 API 比本地运行更划算。


要点
- 单用户设置下,约 30 token/秒的生成速度每 1M 输出 token 消耗约 $0.63 电费,未计入硬件成本。
- 轻度使用时 API 更便宜。重度每日使用时,本地硬件在电力方面可能更具优势。
- 当 PC 全天开机时,空闲功耗的影响比大多数人预期的更大。
- 硬件购买而非电力,通常是决定实际盈亏平衡点的关键。
简短回答
本地 llm 电费取决于三个数字:机器生成时的功耗(瓦数)、每天生成的时长,以及每千瓦时电价。对于典型的单 GPU 桌面,月度费用在几美元到几十美元之间。这远低于硬件价格,但并非零,且在与按 token 付费对比时足以产生影响。
以下计算使用可替换为您自身数据的假设。API 侧使用本服务的实际价格:每 1M 输入 token $0.15,每 1M 输出 token $0.50。
公式
电费等于能量乘以价格。以千瓦时为单位的能量等于以千瓦为单位的功率乘以小时数。
monthly_kwh = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwh如果有条件,请使用插头式功率计。它测量墙插处的整机功耗,这正是你付费的部分。仅查看 GPU 规格表中的额定板级功耗只能看到部分情况,因为 CPU、内存、驱动器、风扇和电源损耗也会增加功耗。
对于示例,我假设:
- 生成时墙插功耗为450 W(显卡额定约 350 W 加上系统其余部分)。
- PC 开机但空闲时墙插功耗为60 W。
- 每千瓦时 $0.15。这是一个假设。费率因国家和一天中的时间差异很大,请替换为您账单上的数字。
- 单用户生成速度为每秒 30 个 token。你的速度取决于模型、量化方式和显卡。
三种使用量级,已计算
选取轻度、中度和重度用户。每种情况下机器全天开机,因此计算空闲小时数。
| 用量 | 每日生成量 | 每月能耗 | 每月电费 | 每月输出 token |
|---|---|---|---|---|
| 轻度 | 1 小时 | 54.9 千瓦时 | $8.24 | 3.24M |
| 中等 | 4 小时 | 90.0 千瓦时 | $13.50 | 12.96M |
| 重度 | 12 小时 | 183.6 千瓦时 | $27.54 | 38.88M |
以下是中度行的逐步计算。生成:4 小时乘以 0.45 千瓦等于每天 1.8 千瓦时。空闲:20 小时乘以 0.06 千瓦等于每天 1.2 千瓦时。总计每天 3.0 千瓦时,即 30 天共 90 千瓦时,按 $0.15计算为 $13.50。Token 数:4 小时等于 14,400 秒,乘以每秒 30 个 token 等于每天 432,000 个 token,或每月 1296 万。
注意轻度用户仅生成 3.24M token 却支付了 $8.24。空闲功耗占该账单的大部分:23 小时空闲乘以 60 W 等于每天 1.38 千瓦时,是生成所耗 0.45 千瓦时的两倍以上。
通过 API 获取相同 token 的成本
聊天场景的输入 token 多于输出 token,因为每次请求都包含系统提示词和当前对话历史。假设输入与输出的 token 比例为 3:1,这是带历史记录的聊天场景的合理比例。那么每月账单费用(每 1M token 为 $0.15 和 $0.50)为:
| 用量 | 输出成本 | 输入成本(输出 token 的 3 倍) | API 总计 | 本地电费 |
|---|---|---|---|---|
| 轻度 | 3.24M x $0.50 = $1.62 | 972 万 x $0.15 = $1.46 | $3.08 | $8.24 |
| 中等 | 12.96M x $0.50 = $6.48 | 38.88M x $0.15 = $5.83 | $12.31 | $13.50 |
| 重度 | 38.88M x $0.50 = $19.44 | 1.1664 亿 x $0.15 = $17.50 | $36.94 | $27.54 |
两点突出。首先,每天生成时间低于约四小时时,API 比仅电费更便宜。其次,每天十二小时时,本地设备在电力方面胜出,因为空闲占比缩小,且你正在使用已付费的硅片。API 费用还包括输入处理,你的 GPU 在现金方面免费执行此操作,但仍会消耗能量。Prefill 很快,所以我将其排除在本地侧之外;这略微有利于本地。
每百万 token 的电费
一种有用的比较方式是仅生成期间每 1M 输出 token 的能量成本。以 450 W 和每秒 30 个 token 计算,一百万 token 需要约 33,333 秒,即 9.26 小时。这相当于 4.17 千瓦时,按每千瓦时 $0.15计算,约为$0.63。API 对每 1M 输出 token 收取 $0.50,输入单独计费为 $0.15。
因此,即使不计 GPU,以每秒 30 个 token 生成的单用户在每个输出 token 上的电力支出高于 API 价格。只有当硬件更快或电力更便宜时,差距才会缩小。以每秒 60 个 token 计算,同样的数学得出约 $0.31。以每千瓦时 $0.08 和每秒 30 个 token 计算,得出约 $0.33。任一变化都会改变结果,请自行计算。
批量处理是例外。同时处理多个请求的服务器每个 token 消耗的能量更少,这就是托管提供商能够低价定价的原因。单人使用的桌面电脑很少能从中受益。
公式未包含的内容
- 硬件。 运行实用模型的 GPU 成本远高于上述一年的电费。分摊到其整个生命周期,硬件通常占据总成本的大部分。LLM 花费多少页面详细介绍了购买成本。
- 散热和噪音。 在炎热的气候下,450 W 产生的热量也会增加空调的负担。在冬季,这部分热量可以作为有用的供暖。
- 更大的模型。 需要两张显卡的模型大致会使负载数值翻倍。
- 你的时间。 更新驱动程序、选择量化版本以及修复内存溢出错误都是 API 可以免除的工作。
另一方面,本地模型每次额外请求的成本为零,并且可以离线工作。如果你每天运行它很多小时,这很重要。
降低本地账单的方法
如果你保持本地部署,一些习惯可以在不改变模型的情况下降低费用。
- 让机器休眠。 从全天 60 W 的空闲状态变为在 20 个空闲小时中的 16 小时休眠,在中等使用情况下每月可节省约 29 kWh,按 $0.15 计算约为 $4.32。
- 限制 GPU 功耗上限。 当功耗上限降低 20% 到 30% 时,许多显卡的生成速度损失很小。测试你自己的显卡,因为结果因模型和驱动程序而异。
- 对日常任务使用较小的量化或模型。 每个权重的字节更少意味着内存流量更少,通常生成速度更快,从而缩短显卡忙碌的小时数。
- 在分时电价下运行。 如果你的公用事业公司在夜间收费较低,请安排批量作业在这些时段运行。
检查休眠节省:16 小时乘以 0.06 kW 是每天 0.96 kWh,乘以 30 是 28.8 kWh,乘以 $0.15 是 $4.32。虽然这不会改变数量级,但电费在硬件本身之外仍占总成本的一小部分。
用实际数字测试 API 端
你可以以低成本将 API 估算值与自己的工作量进行比较。新用户可以在注册后点击 API 密钥页面 一键领取 $0.50 的试用额度,无需信用卡,有效期 7 天。发送几个真实的请求,然后读取 X-Balance-USD 响应头以查看它们的成本。
curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'比较前后的余额,按预期的请求数量进行缩放,并将其与你的电费估算值进行比较。当前费率和充值奖励列在 定价页面 上,请求详情在 文档 中。
更多指南
问答
本地 LLM 的电力消耗是多少?
单 GPU 台式机在生成时功耗通常为几百瓦,空闲时远低于 100 W。使用插线板式电表在插座端测量,然后乘以小时数和每千瓦时电价。
模型大部分时间是否处于空闲状态?
对于大多数个人设置来说,是的。空闲功耗可能大于生成能耗,因此在会话之间让电脑进入睡眠状态可以节省账单。
本地 LLM 比 API 更便宜吗?
在轻度或中度使用下,通常不占优(一旦计入电费),更不占优(一旦计入硬件成本)。在每天长时间生成时,仅在电力成本方面可能占优。
我可以不付费测试 API 成本吗?
是的。$0.50 的即点即用试用额度无需信用卡或借记卡,余额标题会显示每次请求的成本。