中文 ▾
获取 API 密钥

uncensoredlocalllm.com指南

LLM 成本是多少?按 token 计费计算与示例

LLM 的价格取决于你的使用方式:你可以通过 API 按 token 付费,或者购买硬件自行运行。本指南展示了公式以及带有真实数字的计算示例。

更新于

等距秤将数据块与硬币进行对比,以说明 LLM 的按 token 计费成本

要点

  • API 成本 = 输入 token x 输入价格 + 输出 token x 输出价格。输出通常成本更高。
  • 在此 API 上,费率为每 1M 输入 token $0.15,每 1M 输出 token $0.50,预付且无订阅。
  • 1,000 输入、500 输出的请求成本为 $0.0004;1,000 次此类请求成本为 $0.40。
  • 每次对话都重新发送聊天历史记录是账单高于预期的最常见原因。

LLM 的三种付费方式

如果你想知道 LLM 的成本是多少,第一步是确定你指的是哪种成本。共有三种,在将它们放在同一尺度上之前,它们是不可比的。

模型你为以下项目付费成本形态
托管 API发送和接收的 token空闲时为零,随使用量增长
聊天订阅聊天应用的月度计划固定费用,大多数情况下无 API 访问权限
自托管GPU、电力、设置和维护高固定成本,每次额外请求成本低

本文重点介绍托管 API 的情况,因为这是你可以提前计算费用的情况。对于其他供应商,请查看他们当前的定价页面;价格会发生变化,此处不再重复。

API 成本计算公式

每个请求都有输入端(你的提示词、系统消息和任何聊天历史记录)和输出端(模型生成的内容)。两者都按 token 计数,而 token 大约相当于四分之三个英文单词。成本计算如下:

成本 = (输入 token / 1,000,000 x 输入价格) + (输出 token / 1,000,000 x 输出价格)

在此服务上,输入价格为每 1M token $0.15,输出价格为每 1M token $0.50。输出成本略高于输入的三倍,因此长回复的成本远高于长问题。

以下是手动计算的一个请求。提示词为 1,000 个 token,回复为 500 个 token:

  • 输入:1,000 / 1,000,000 x $0.15 = $0.00015
  • 输出:500 / 1,000,000 x $0.50 = $0.00025
  • 总计:$0.0004

那是百分之四美分。按比例放大:1,000 次此类请求的成本为 $0.40,100,000 次的成本为 $40。

真实负载的计算示例

支持聊天机器人

假设每月 10,000 次会话。每次会话总共发送 3,000 个输入 token(系统提示词加上跨轮次的历史记录),并接收 800 个输出 token。输入:30M token x 每 1M $0.15 = $4.50。输出:8M token x 每 1M $0.50 = $4.00。每月总计:$8.50。

文档摘要

50,000 token 的文档和 1,000 token 的摘要。输入:0.05M x $0.15 = $0.0075。输出:0.001M x $0.50 = $0.0005。每份文档成本为 $0.008,因此 1,000 份文档成本为 $8.00。仅输入填满整个 100,000 token 的上下文窗口成本为 $0.015。

长角色扮演或陪伴会话

提示词从 500 个 token 开始,每轮增加 350 个 token,因为历史记录会被重新发送。经过 20 轮,模型读取 76,500 个输入 token 并生成 5,000 个输出 token。输入:0.0765M x $0.15 = 约 $0.0115。输出:0.005M x $0.50 = $0.0025。整个会话约 $0.014。

批量分类器

每项 200 个输入 token 和 10 个输出 token,共一百万项。输入:200M x 每 1M $0.15 = $30。输出:10M x 每 1M $0.50 = $5。总计:$35。这里数量很大,但由于输出很小,成本仍然很低。

三种使用水平下的月度预算

使用每次 $0.0004 的 1,000 输入、500 输出请求,以下是 30 天月份在不同负载下的情况。

用量每日请求数每月请求数月度成本
业余机器人1,00030,000$12
小型产品10,000300,000$120
繁忙服务100,0003,000,000$1,200

表格呈线性扩展,因此如果你的平均请求长度加倍,成本也加倍。业余机器人也很容易满足最低充值要求:$20 可支付 50,000 次此类请求,且额度永不过期,因此未使用的余额将一直保留。

为什么账单高于预估

预估以可预测的方式失效。在决定某个工具是否昂贵之前,请检查以下情况。

  • 每一轮都会重新发送历史记录。 每条新消息都包含之前的所有内容。50 轮的对话不是 50 次小请求;后续的请求会很大。上面的角色扮演示例展示了这种增长。
  • 冗长的输出。 输出 token 成本更高。如果你只需要标签或简短回答,请在提示词中说明,并设置 max_tokens。
  • 你自己代码中的重试。 超时后重新发送请求的循环可能导致双倍计费。请注意,此 API 对失败或被拒绝的请求不收费。
  • 过大的粘贴上下文。 将 60,000 token 的文件放入每次调用中很容易做到,也很容易忘记。

降低成本的方法

大部分节省来自发送更少的 token,而不是寻找更便宜的模型。

  1. 一旦旧对话轮次不再重要,请修剪或总结它们。
  2. 将稳定的指令放在一条简短的系统消息中,而不是在每条用户消息中重复。
  3. 使用 JSON 模式请求结构化输出(response_format: {"type":"json_object"}),这样你就不必为围绕数据的冗长文本付费。
  4. 使用 stop 序列在解析器需要的位置结束生成。
  5. 当每个项目都很小时,将多个小项目合并为一个请求。

你可以直接跟踪效果。每个响应都包含一个 X-Balance-USD 头,流式响应会在末尾报告使用情况。此脚本打印一次调用的成本:

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllm.com/v1", api_key="YOUR_API_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain tokens in two sentences."}],
    max_tokens=150,
)
u = r.usage
cost = u.prompt_tokens / 1_000_000 * 0.15 + u.completion_tokens / 1_000_000 * 0.50
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

在构建之前预估你自己的成本

对少量典型请求计算实际的 token 数量,然后进行乘法运算。一个简短的函数可以为任何平均大小进行算术运算。

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllm.com/v1", api_key="YOUR_API_KEY")

def monthly_cost(requests_per_month, avg_in, avg_out):
    return requests_per_month * (avg_in * 0.15 + avg_out * 0.50) / 1_000_000

print(monthly_cost(30_000, 1000, 500))    # 12.0
print(monthly_cost(10_000, 3000, 800))    # 8.5

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say hello."}],
    max_tokens=10,
)
print(r.usage.prompt_tokens, r.usage.completion_tokens)

用试用额度运行二十个典型提示词,对 usage 数据,并将其代入函数。这将给你一个基于你的产品而非通用示例的数值。

自托管:何时合理

自行运行开放权重模型可以消除按 token 计费,但取而代之的是固定成本:具有足够内存的 GPU、电力、设置时间和更新。无论机器是否忙碌,这些成本都会产生。当你有稳定、高流量或严格需要将一切保留在自己机器上时,自托管往往更胜一筹。对于偶尔使用、流量尖峰或原型,按 token 付费更简单且通常更便宜,因为空闲的 API 成本为零。

公平的比较需要你自己的数字:你的每月 token 量、硬件价格以及你的时间价值。使用上述公式计算 API 侧,然后根据真实报价对硬件侧进行定价。如果你想了解运行开放模型的更广泛图景,无审查 LLM 聊天指南 涵盖了集成选项。

此服务的定价和充值

计费采用预付和按量付费。你可以充值 $20 到 $500 之间的任意整数金额,大额充值可获额外奖励:$50 起 +5%,$100 起 +10%,$200 起 +15%。充值 $100 将变为 $110 额度。支持加密货币支付:TRC20 上的 USDT 或 Base 上的 USDC。额度永不过期,无订阅。

新用户可在 API 密钥页面一键领取 $0.50 试用额度。有效期 7 天,无需支付信息,每人限领一次。按每个 1,000 输入、500 输出的请求 $0.0004 计算,可覆盖约 1,250 次请求,足以在付费前衡量你的平均成本。定价页面列出了费率,文档展示了请求格式。

问答

一条 LLM 消息的成本是多少?

在此 API 上,包含 1,000 个输入 token 和 500 个输出 token 的消息成本为 $0.0004。短消息成本更低,长历史成本更高,因为输入会增长。

在本地运行 LLM 更便宜吗?

仅在有稳定高流量或需要将一切保留在自己机器上时更便宜。无论是否使用,你都要为硬件和电力付费,而 API 在空闲时成本为零。

什么是 token?

token 是文本块,大约相当于四分之三个英文单词。你的提示词和模型的回复都按 token 计算。

失败的请求需要付费吗?

不是。在此 API 上,失败或被拒绝的请求不收费。

有订阅吗?

没有。你可以购买从 $20 到 $500 的预付额度,且永不过期。

uncensoredlocalllm.com

只差一张表单,即可获得密钥

创建账户,复制密钥,更改 base URL。这就是全部设置。