中文 ▾
获取 API 密钥

uncensoredlocalllm.com指南

本地 LLM 硬件成本:何时 API 更便宜

可用的本地模型需要显存充足的 GPU、性能尚可的主机以及电费。分摊到三年,每月的成本远高于大多数人每月在 token 上的花费。

更新于

天平一端是 PC 硬件,另一端是 token 云,展示本地 LLM 硬件成本与 API 的对比
本地 GPU 连接到托管云的等距插图,代表本地与 API 编码模型

要点

  • GPU 内存而非原始速度决定了你能运行什么以及支付多少。
  • 根据下面的示例配置,盈亏平衡点约为每月 232M token,或每天约 18 小时的生成时间。
  • API 在低负载和突发负载下占优;本地配置在持续高负载、隐私需求和离线工作方面占优。
  • 将本文中的硬件价格视为占位符,并检查当前市场。

驱动价格的因素

本地 LLM 硬件成本主要由一个组件决定:显卡,具体来说是它的显存大小。模型权重必须能放入显存,或者以较慢的显存与系统内存混合方式运行。仅权重大小的粗略估算公式为:参数量 × 每参数量比特数 ÷ 8。一个 80 亿参数的模型在 4-bit 量化下需要约 4 GB。一个 700 亿参数的模型在 4-bit 量化下需要约 35 GB。此外,你还需要为 KV 缓存留出空间,其大小随上下文长度增长,并需要一些额外开销。

这就是价格曲线陡峭的原因。拥有 12 GB 内存的显卡运行小模型。24 GB 内存的显卡可以舒适地运行中等规模模型。更大的模型意味着需要两张卡或工作站硬件。速度不如容量重要:能容纳模型的较慢显卡优于无法容纳模型的较快显卡。

预算、中端和大型配置

以下价格为示例假设,并非报价。新旧价格不断变化,请替换为你实际找到的价格。重点在于计算的形态。

项目小型配置中端配置大型配置
GPU 内存12 GB24 GB2 x 24 GB
GPU(假设)$350$800$1,600
CPU、主板、32 至 64 GB 内存、SSD(假设)$500$600$900
电源、机箱、散热(假设)$150$100$200
总计(假设)$1,000$1,500$2,700

如果你已经拥有一台带有合适显卡的游戏 PC,你的边际硬件成本为零,本文的其余部分将更倾向于本地运行。如果你正在购买新硬件,表格中的数据更接近实际情况。

将购买转化为月度成本

将配置分摊到实际使用寿命,并加上电费。$1500的中型配置在 36 个月内每月为 41.$67。加上每天运行约四小时的机器电费:负载下 450 W,空闲时 60 W,电费 $0.15/kWh,每月为 13.$50。总计:每月 $55.17。

配置每月硬件成本(36 个月)每月电费(每天 4 小时)每月总计
小型$27.78$13.50$41.28
中端$41.67$13.50$55.17
大型$75.00$23.40$98.40

大型配置的功耗假设负载下 800 W,空闲时 100 W:每天 3.2 kWh 加 2.0 kWh 共 5.2 kWh,乘以 30 天为 156 kWh,乘以 $0.15 为 $23.40。

与按 token 计费的盈亏平衡

现在将该月度数据转换为 token。假设聊天流量中每个输出 token 对应三个输入 token。一百万个输出 token 加上三百万个输入 token 的成本为 1 x $0.50 + 3 x $0.15 = $0.95,即四百万 token 的加权平均价格为每百万 token $0.2375。对于中等配置:

  • $55.17 除以每 1M token $0.2375,盈亏平衡点约为每月 232M token。
  • 其中四分之一为输出:约 58M 输出 token。
  • 以每秒 30 个 token 的速度,如果一台机器满负荷运行 30 天(2.592M 秒乘以 30),将产生约 77.8M 输出 token。

每秒 30 个 token 的速度生成 58M 个输出 token 需要 1.94M 秒,约 538 小时,即每天 17.9 小时的生成时间。单人输入提示词无法达到此生成量。批处理流水线或服务端多用户场景可能实现。

本地配置仍然合理的情况

盈亏平衡点表明 API 对大多数个人更便宜。但这并不意味着本地配置毫无意义。无论如何购买硬件的理由:

  • 你已经拥有显卡。那么只有电费算数。
  • 持续负载。全天候运行的流水线(如批量分类)可以让 GPU 保持足够忙碌,从而超过盈亏平衡点。
  • 离线或空气隔离工作。 无网络,无按 token 计费,数据不离开大楼。
  • 权重实验。 如果你想更改量化方案、合并模型或运行自己的微调模型,你需要将文件保存在本地磁盘上。

要了解 LLM 使用的一般成本,请参阅 LLM 的成本是多少 页面。选择租赁而非自建的理由包括:突发使用、大量不同规模的实验、需要长上下文但不想购买更多 VRAM,以及不想维护驱动和推理服务器。此托管选项提供 100,000 token 的上下文窗口,这在本地需要大量内存用于 KV 缓存。

三个人,三种答案

当数字与实际场景相符时,更容易让人信任。以下是三种用户画像,按 3:1 的输入输出比例,价格分别为每 1M token $0.15 和 $0.50。

  • 爱好者每天聊天一两小时,每月总共发送约 10M token。按每 1M token $0.2375 计算,费用为 $2.38。与即使是小型配置每月 $41.28 相比,API 便宜约十七倍。
  • 开发者 运行编辑器助手和测试脚本,每月约 60M token:通过 API 费用为 $14.25。中型自建方案每月成本为 $55.17,因此除非显卡已经拥有,否则 API 仍然具有明显优势。
  • 批量处理操作员全天候对文档进行分类,每月 400M token:API 费用为 $95.00。中型构建方案成本为 $55.17,如果它能实际处理该量级则更便宜,但以每秒 30 token 的输出速度,其每月输出 token 量上限约为 77.8M,按相同比例计算总 token 量约为 311M。因此,操作员需要第二张显卡,或者必须接受较低的处理量,这会导致本地成本上升。

模式是一致的:API 在用量恒定且较大时胜出,此时本地容量成为瓶颈。并发能力也不同。此处的完整密钥允许 8 个并发请求,而单个桌面 GPU 通常以全速一次只服务一个请求。

花费更少,以及收据未包含的项目

降低硬件支出的方法

  • 购买二手。 上一代拥有 24 GB 内存的显卡通常是每 GB 性价比最高的选择。检查卖家,并在收到货后在负载下测试显卡。
  • 卸载层。 像 llama.cpp 这样的推理引擎可以将模型的一部分保留在系统 RAM 中。它可以运行,但速度较慢,因此仅在速度不重要时才使用此方法。
  • 选择较小的模型。 在 12 GB 显卡上经过良好微调的 8B 模型可以覆盖许多日常任务。仅在任务需要时才为模型大小付费。
  • 按小时租赁 GPU 时间。 云 GPU 租赁避免了购买成本,但有其自己的小时费率,因此请检查其当前定价,并与按 token 计费进行比较。

人们忘记的隐藏成本

  • 折旧。 随着新显卡的出现,GPU 的二手价值会下降。上述 36 个月的使用寿命是一个估计值。
  • 故障和更换。 电源或风扇故障是一笔意外账单。
  • 升级。 新的开放权重模型往往更大。适合今天首选模型的显卡可能无法容纳明年的模型。
  • 时间。 设置、更新和调试都需要花费实际的时间。如果你重视这些时间,请将其计入成本。
  • 噪音和热量。 450 W 的机器在小房间里会发出噪音并产生热量。

这些都不会出现在收据上,这就是为什么在人们心目中,一套设备通常看起来比实际更便宜。

计算你自己的盈亏平衡点

输入你的数字并运行此计算。它计算你的全包月度本地成本,并打印出 API 在此服务价格下与之匹配的月度 token 量。

local_monthly = 55.17        # hardware per month + electricity
in_price, out_price = 0.15, 0.50   # dollars per 1M tokens
ratio = 3                    # input tokens per output token

blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")

如果你的实际用量远低于此,请使用 API。要测量你的用量,请在API 密钥页面领取试用额度,使用模型uncensored向https://api.uncensoredlocalllm.com/v1运行你的真实提示词,并在每个响应中读取 token 用量。请求格式见文档,充值见定价页面。

问答

能够本地运行 LLM 的 PC 成本是多少?

这取决于你想要的模型大小。根据本文中的占位符价格,小型构建方案约为 $1,000,配备 24 GB 显卡的中等构建方案约为 $1,500。在计划之前,请查看当前市场价格。

运行本地 LLM 需要 GPU 吗?

不,小模型可以在具有足够内存的 CPU 上运行,但生成速度要慢得多。拥有足够显存以容纳权重的 GPU 才是使其具有实用性的关键。

本地 LLM 何时比 API 更便宜?

当机器每天忙碌许多小时时,当你已经拥有硬件时,或当你需要离线操作时。根据本文的价格,中等构建方案在每天接近 18 小时生成时间时达到盈亏平衡。

在购买硬件之前可以试用 API 吗?

是的。新用户无需信用卡即可领取 $0.50 的试用额度,并使用真实提示词来查看质量和成本。

uncensoredlocalllm.com

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。