LLM có giá bao nhiêu? Tính toán theo token và ví dụ

Ba cách để trả tiền cho LLM

Nếu bạn đang thắc mắc LLM có giá bao nhiêu, bước đầu tiên là chọn loại chi phí bạn muốn đề cập. Có ba loại, và chúng không thể so sánh trực tiếp cho đến khi bạn đặt chúng trên cùng một quy mô.

Mô hình	Bạn trả tiền cho	Cấu trúc chi phí
API lưu trữ	Token gửi và nhận	Bằng không khi không hoạt động, tăng lên khi sử dụng
Đăng ký trò chuyện	Gói hàng tháng cho ứng dụng trò chuyện	Phí cố định, hầu hết các trường hợp không có quyền truy cập API
Tự lưu trữ	GPU, điện năng, thiết lập và bảo trì	Chi phí cố định cao, chi phí thấp cho mỗi yêu cầu bổ sung

Bài viết này tập trung vào trường hợp API được lưu trữ, vì đây là trường hợp bạn có thể tính toán trước câu trả lời. Đối với các nhà cung cấp khác, hãy kiểm tra trang giá cả hiện tại của họ; giá cả thay đổi và không được lặp lại ở đây.

Công thức tính chi phí API

Mỗi yêu cầu có phần đầu vào (prompt của bạn, tin nhắn hệ thống và bất kỳ lịch sử trò chuyện nào) và phần đầu ra (những gì mô hình viết). Cả hai đều được tính bằng token, và một token tương đương khoảng ba phần tư một từ tiếng Anh. Chi phí là:

chi phí = (token đầu vào / 1.000.000 x giá đầu vào) + (token đầu ra / 1.000.000 x giá đầu ra)

Với dịch vụ này, giá đầu vào là $0,15 cho mỗi 1 triệu token và giá đầu ra là $0,50 cho mỗi 1 triệu token. Đầu ra đắt hơn đầu vào hơn ba lần, nên một câu trả lời dài tốn nhiều hơn một câu hỏi dài.

Dưới đây là một yêu cầu được tính thủ công. Prompt với 1.000 token và phản hồi với 500 token:

• Đầu vào: 1.000 / 1.000.000 x $0,15 = $0,00015
• Đầu ra: 500 / 1.000.000 x $0,50 = $0,00025
• Tổng cộng: $0,0004

Đó là bốn phần trăm một xu. Khi nhân lên: 1.000 yêu cầu như vậy tốn $0,40 và 100.000 yêu cầu tốn $40.

Ví dụ thực tế cho các khối lượng công việc thực tế

Trợ lý hỗ trợ khách hàng

Giả sử 10.000 cuộc hội thoại mỗi tháng. Mỗi cuộc gửi tổng cộng 3.000 token đầu vào (prompt hệ thống cộng với lịch sử qua các lượt) và nhận 800 token đầu ra. Đầu vào: 30 triệu token x $0,15 cho mỗi 1 triệu = $4,50. Đầu ra: 8 triệu token x $0,50 cho mỗi 1 triệu = $4,00. Tổng hàng tháng: $8,50.

Tóm tắt tài liệu

Một tài liệu 50.000 token và một tóm tắt 1.000 token. Đầu vào: 0,05 triệu x $0,15 = $0,0075. Đầu ra: 0,001 triệu x $0,50 = $0,0005. Đó là $0,008 cho mỗi tài liệu, nên 1.000 tài liệu tốn $8,00. Điền đầy cửa sổ ngữ cảnh 100.000 token chỉ bằng đầu vào tốn $0,015.

Phiên đóng vai hoặc bạn đồng hành dài

Prompt bắt đầu ở 500 token và tăng thêm 350 token mỗi lượt vì lịch sử được gửi lại. Qua 20 lượt, mô hình đọc 76.500 token đầu vào và viết 5.000 token đầu ra. Đầu vào: 0,0765 triệu x $0,15 = khoảng $0,0115. Đầu ra: 0,005 triệu x $0,50 = $0,0025. Khoảng $0,014 cho toàn bộ phiên.

Bộ phân loại hàng loạt

200 token đầu vào và 10 token đầu ra cho mỗi mục, một triệu mục. Đầu vào: 200 triệu x $0,15 cho mỗi 1 triệu = $30. Đầu ra: 10 triệu x $0,50 cho mỗi 1 triệu = $5. Tổng cộng: $35. Ở đây khối lượng lớn, nhưng chi phí vẫn nhỏ vì đầu ra rất nhỏ.

Ngân sách hàng tháng ở ba mức sử dụng

Sử dụng yêu cầu 1.000 token đầu vào, 500 token đầu ra với giá $0,0004 mỗi yêu cầu, dưới đây là cách một tháng 30 ngày trông như thế nào ở các khối lượng khác nhau.

Sử dụng	Yêu cầu mỗi ngày	Yêu cầu mỗi tháng	Chi phí hàng tháng
Bot sở thích	1.000	30.000	$12
Sản phẩm nhỏ	10.000	300.000	$120
Dịch vụ bận rộn	100.000	3.000.000	$1.200

Bảng này tăng tuyến tính, vì vậy nếu yêu cầu trung bình của bạn dài gấp đôi, chi phí cũng tăng gấp đôi. Một bot giải trí cũng dễ dàng nằm trong mức nạp tiền tối thiểu: $20 trả cho 50.000 yêu cầu kích thước này, và tín dụng không bao giờ hết hạn, nên số dư chưa dùng chỉ chờ đợi.

Lý do hóa đơn cao hơn dự kiến

Các ước tính thất bại theo những cách có thể dự đoán. Hãy kiểm tra những điều này trước khi bạn quyết định một công cụ đắt.

• Lịch sử được gửi lại ở mỗi lượt. Mỗi tin nhắn mới đều mang theo tất cả các tin nhắn trước đó. Một cuộc trò chuyện gồm 50 lượt không phải là 50 yêu cầu nhỏ; các lượt sau sẽ lớn hơn. Ví dụ về nhập vai ở trên cho thấy sự gia tăng này.
• Đầu ra dài dòng. Token đầu ra tốn nhiều chi phí hơn. Nếu bạn chỉ cần một nhãn hoặc câu trả lời ngắn, hãy nói rõ trong prompt và đặt max_tokens.
• Các lần thử lại trong mã của bạn. Một vòng lặp gửi lại yêu cầu sau khi hết thời gian chờ có thể làm tăng gấp đôi chi phí. Lưu ý rằng trên API này, các yêu cầu bị lỗi hoặc bị từ chối sẽ không bị tính phí.
• Ngữ cảnh dán vào quá lớn. Việc đưa một tệp 60.000 token vào mọi lệnh gọi là điều dễ làm và dễ bị lãng quên.

Các cách để giảm chi phí

Hầu hết các khoản tiết kiệm đến từ việc gửi ít token hơn, chứ không phải từ việc tìm một mô hình rẻ hơn.

1. Cắt bớt hoặc tóm tắt các lượt trò chuyện cũ khi chúng không còn quan trọng.
2. Đặt các hướng dẫn ổn định vào một tin nhắn hệ thống ngắn gọn thay vì lặp lại chúng trong mọi tin nhắn của người dùng.
3. Yêu cầu đầu ra có cấu trúc với chế độ JSON (response_format: {"type":"json_object"}) để bạn không phải trả tiền cho phần văn bản dài dòng xung quanh dữ liệu.
4. Sử dụng các trình tự stop để kết thúc quá trình sinh văn bản tại vị trí mà trình phân tích cú pháp của bạn cần.
5. Nhóm các mục nhỏ thành một yêu cầu khi mỗi mục rất nhỏ.

Bạn có thể theo dõi tác động trực tiếp. Mỗi phản hồi đều bao gồm tiêu đề X-Balance-USD, và các phản hồi truyền phát báo cáo mức sử dụng ở cuối. Tập lệnh này in ra chi phí của một lệnh gọi:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllm.com/v1", api_key="YOUR_API_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain tokens in two sentences."}],
    max_tokens=150,
)
u = r.usage
cost = u.prompt_tokens / 1_000_000 * 0.15 + u.completion_tokens / 1_000_000 * 0.50
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

Ước tính chi phí của riêng bạn trước khi xây dựng

Đếm số token thực tế trên một vài yêu cầu điển hình, sau đó nhân lên. Một hàm ngắn sẽ thực hiện các phép tính số học cho bất kỳ kích thước trung bình nào.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllm.com/v1", api_key="YOUR_API_KEY")

def monthly_cost(requests_per_month, avg_in, avg_out):
    return requests_per_month * (avg_in * 0.15 + avg_out * 0.50) / 1_000_000

print(monthly_cost(30_000, 1000, 500))    # 12.0
print(monthly_cost(10_000, 3000, 800))    # 8.5

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say hello."}],
    max_tokens=10,
)
print(r.usage.prompt_tokens, r.usage.completion_tokens)

Chạy hai mươi prompt điển hình qua bản dùng thử, lấy trung bình các số usage, và đưa chúng vào hàm. Điều đó cung cấp cho bạn một con số dựa trên sản phẩm của bạn chứ không phải một ví dụ chung chung.

Tự lưu trữ: khi nào thì hợp lý

Việc tự chạy một mô hình trọng số mở sẽ loại bỏ phí theo token, nhưng nó thay thế bằng các chi phí cố định: một GPU đủ bộ nhớ, điện, thời gian thiết lập và cập nhật. Những chi phí này phải trả bất kể máy có hoạt động hay không. Tự lưu trữ thường có lợi khi bạn có khối lượng ổn định, cao hoặc nhu cầu nghiêm ngặt là giữ mọi thứ trên máy của riêng bạn. Đối với việc sử dụng thỉnh thoảng, lưu lượng biến động hoặc nguyên mẫu, việc trả tiền theo token đơn giản hơn và thường rẻ hơn, vì một API nhàn rỗi không tốn chi phí.

Một phép so sánh công bằng cần số liệu của riêng bạn: khối lượng token hàng tháng của bạn, giá phần cứng và giá trị thời gian của bạn. Sử dụng các công thức ở trên cho phía API, sau đó định giá phía phần cứng từ các báo giá thực tế. Nếu bạn muốn có cái nhìn tổng quát hơn về việc chạy các mô hình mở, hướng dẫn trò chuyện LLM không kiểm duyệt bao gồm các tùy chọn tích hợp.

Giá cả và nạp tiền trên dịch vụ này

Thanh toán là trả trước và trả theo nhu cầu. Bạn có thể nạp tiền bất kỳ số nguyên nào từ $20 đến $500, và các khoản nạp lớn hơn thêm tiền thưởng: +5% từ $50, +10% từ $100 và +15% từ $200. Một khoản nạp $100 trở thành $110 tín dụng. Thanh toán bằng tiền mã hóa: USDT trên TRC20 hoặc USDC trên Base. Tín dụng không bao giờ hết hạn, và không có gói đăng ký.

Người dùng mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột trên trang khóa API. Nó có hiệu lực trong 7 ngày, không cần thông tin thanh toán và mỗi người một lần. Với giá $0,0004 cho mỗi yêu cầu gồm 1.000 token đầu vào và 500 token đầu ra, nó bao gồm khoảng 1.250 yêu cầu, đủ để đo chi phí trung bình của bạn trước khi bạn trả bất kỳ khoản nào. Trang giá cả liệt kê các mức giá, và tài liệu hiển thị định dạng yêu cầu.

Hướng dẫn khác

• Mô hình LLM cục bộ tốt nhất cho lập trình Python: API cục bộ hay được lưu trữ?
• Trò chuyện LLM không kiểm duyệt: Hướng dẫn tích hợp & trường hợp sử dụng