本地 LLM 硬件成本:何时 API 更便宜
可用的本地模型需要显存充足的 GPU、性能尚可的主机以及电费。分摊到三年,每月的成本远高于大多数人每月在 token 上的花费。


要点
- GPU 内存而非原始速度决定了你能运行什么以及支付多少。
- 根据下面的示例配置,盈亏平衡点约为每月 232M token,或每天约 18 小时的生成时间。
- API 在低负载和突发负载下占优;本地配置在持续高负载、隐私需求和离线工作方面占优。
- 将本文中的硬件价格视为占位符,并检查当前市场。
驱动价格的因素
本地 LLM 硬件成本主要由一个组件决定:显卡,具体来说是它的显存大小。模型权重必须能放入显存,或者以较慢的显存与系统内存混合方式运行。仅权重大小的粗略估算公式为:参数量 × 每参数量比特数 ÷ 8。一个 80 亿参数的模型在 4-bit 量化下需要约 4 GB。一个 700 亿参数的模型在 4-bit 量化下需要约 35 GB。此外,你还需要为 KV 缓存留出空间,其大小随上下文长度增长,并需要一些额外开销。
这就是价格曲线陡峭的原因。拥有 12 GB 内存的显卡运行小模型。24 GB 内存的显卡可以舒适地运行中等规模模型。更大的模型意味着需要两张卡或工作站硬件。速度不如容量重要:能容纳模型的较慢显卡优于无法容纳模型的较快显卡。
预算、中端和大型配置
以下价格为示例假设,并非报价。新旧价格不断变化,请替换为你实际找到的价格。重点在于计算的形态。
| 项目 | 小型配置 | 中端配置 | 大型配置 |
|---|---|---|---|
| GPU 内存 | 12 GB | 24 GB | 2 x 24 GB |
| GPU(假设) | $350 | $800 | $1,600 |
| CPU、主板、32 至 64 GB 内存、SSD(假设) | $500 | $600 | $900 |
| 电源、机箱、散热(假设) | $150 | $100 | $200 |
| 总计(假设) | $1,000 | $1,500 | $2,700 |
如果你已经拥有一台带有合适显卡的游戏 PC,你的边际硬件成本为零,本文的其余部分将更倾向于本地运行。如果你正在购买新硬件,表格中的数据更接近实际情况。
将购买转化为月度成本
将配置分摊到实际使用寿命,并加上电费。$1500的中型配置在 36 个月内每月为 41.$67。加上每天运行约四小时的机器电费:负载下 450 W,空闲时 60 W,电费 $0.15/kWh,每月为 13.$50。总计:每月 $55.17。
| 配置 | 每月硬件成本(36 个月) | 每月电费(每天 4 小时) | 每月总计 |
|---|---|---|---|
| 小型 | $27.78 | $13.50 | $41.28 |
| 中端 | $41.67 | $13.50 | $55.17 |
| 大型 | $75.00 | $23.40 | $98.40 |
大型配置的功耗假设负载下 800 W,空闲时 100 W:每天 3.2 kWh 加 2.0 kWh 共 5.2 kWh,乘以 30 天为 156 kWh,乘以 $0.15 为 $23.40。
与按 token 计费的盈亏平衡
现在将该月度数据转换为 token。假设聊天流量中每个输出 token 对应三个输入 token。一百万个输出 token 加上三百万个输入 token 的成本为 1 x $0.50 + 3 x $0.15 = $0.95,即四百万 token 的加权平均价格为每百万 token $0.2375。对于中等配置:
- $55.17 除以每 1M token $0.2375,盈亏平衡点约为每月 232M token。
- 其中四分之一为输出:约 58M 输出 token。
- 以每秒 30 个 token 的速度,如果一台机器满负荷运行 30 天(2.592M 秒乘以 30),将产生约 77.8M 输出 token。
每秒 30 个 token 的速度生成 58M 个输出 token 需要 1.94M 秒,约 538 小时,即每天 17.9 小时的生成时间。单人输入提示词无法达到此生成量。批处理流水线或服务端多用户场景可能实现。
本地配置仍然合理的情况
盈亏平衡点表明 API 对大多数个人更便宜。但这并不意味着本地配置毫无意义。无论如何购买硬件的理由:
- 你已经拥有显卡。那么只有电费算数。
- 持续负载。全天候运行的流水线(如批量分类)可以让 GPU 保持足够忙碌,从而超过盈亏平衡点。
- 离线或空气隔离工作。 无网络,无按 token 计费,数据不离开大楼。
- 权重实验。 如果你想更改量化方案、合并模型或运行自己的微调模型,你需要将文件保存在本地磁盘上。
要了解 LLM 使用的一般成本,请参阅 LLM 的成本是多少 页面。选择租赁而非自建的理由包括:突发使用、大量不同规模的实验、需要长上下文但不想购买更多 VRAM,以及不想维护驱动和推理服务器。此托管选项提供 100,000 token 的上下文窗口,这在本地需要大量内存用于 KV 缓存。
三个人,三种答案
当数字与实际场景相符时,更容易让人信任。以下是三种用户画像,按 3:1 的输入输出比例,价格分别为每 1M token $0.15 和 $0.50。
- 爱好者每天聊天一两小时,每月总共发送约 10M token。按每 1M token $0.2375 计算,费用为 $2.38。与即使是小型配置每月 $41.28 相比,API 便宜约十七倍。
- 开发者 运行编辑器助手和测试脚本,每月约 60M token:通过 API 费用为 $14.25。中型自建方案每月成本为 $55.17,因此除非显卡已经拥有,否则 API 仍然具有明显优势。
- 批量处理操作员全天候对文档进行分类,每月 400M token:API 费用为 $95.00。中型构建方案成本为 $55.17,如果它能实际处理该量级则更便宜,但以每秒 30 token 的输出速度,其每月输出 token 量上限约为 77.8M,按相同比例计算总 token 量约为 311M。因此,操作员需要第二张显卡,或者必须接受较低的处理量,这会导致本地成本上升。
模式是一致的:API 在用量恒定且较大时胜出,此时本地容量成为瓶颈。并发能力也不同。此处的完整密钥允许 8 个并发请求,而单个桌面 GPU 通常以全速一次只服务一个请求。
花费更少,以及收据未包含的项目
降低硬件支出的方法
- 购买二手。 上一代拥有 24 GB 内存的显卡通常是每 GB 性价比最高的选择。检查卖家,并在收到货后在负载下测试显卡。
- 卸载层。 像 llama.cpp 这样的推理引擎可以将模型的一部分保留在系统 RAM 中。它可以运行,但速度较慢,因此仅在速度不重要时才使用此方法。
- 选择较小的模型。 在 12 GB 显卡上经过良好微调的 8B 模型可以覆盖许多日常任务。仅在任务需要时才为模型大小付费。
- 按小时租赁 GPU 时间。 云 GPU 租赁避免了购买成本,但有其自己的小时费率,因此请检查其当前定价,并与按 token 计费进行比较。
人们忘记的隐藏成本
- 折旧。 随着新显卡的出现,GPU 的二手价值会下降。上述 36 个月的使用寿命是一个估计值。
- 故障和更换。 电源或风扇故障是一笔意外账单。
- 升级。 新的开放权重模型往往更大。适合今天首选模型的显卡可能无法容纳明年的模型。
- 时间。 设置、更新和调试都需要花费实际的时间。如果你重视这些时间,请将其计入成本。
- 噪音和热量。 450 W 的机器在小房间里会发出噪音并产生热量。
这些都不会出现在收据上,这就是为什么在人们心目中,一套设备通常看起来比实际更便宜。
计算你自己的盈亏平衡点
输入你的数字并运行此计算。它计算你的全包月度本地成本,并打印出 API 在此服务价格下与之匹配的月度 token 量。
local_monthly = 55.17 # hardware per month + electricity
in_price, out_price = 0.15, 0.50 # dollars per 1M tokens
ratio = 3 # input tokens per output token
blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")如果你的实际用量远低于此,请使用 API。要测量你的用量,请在API 密钥页面领取试用额度,使用模型uncensored向https://api.uncensoredlocalllm.com/v1运行你的真实提示词,并在每个响应中读取 token 用量。请求格式见文档,充值见定价页面。
更多指南
问答
能够本地运行 LLM 的 PC 成本是多少?
这取决于你想要的模型大小。根据本文中的占位符价格,小型构建方案约为 $1,000,配备 24 GB 显卡的中等构建方案约为 $1,500。在计划之前,请查看当前市场价格。
运行本地 LLM 需要 GPU 吗?
不,小模型可以在具有足够内存的 CPU 上运行,但生成速度要慢得多。拥有足够显存以容纳权重的 GPU 才是使其具有实用性的关键。
本地 LLM 何时比 API 更便宜?
当机器每天忙碌许多小时时,当你已经拥有硬件时,或当你需要离线操作时。根据本文的价格,中等构建方案在每天接近 18 小时生成时间时达到盈亏平衡。
在购买硬件之前可以试用 API 吗?
是的。新用户无需信用卡即可领取 $0.50 的试用额度,并使用真实提示词来查看质量和成本。