Chi phí điện cho LLM cục bộ so với trả theo token
Chạy mô hình trên GPU của riêng bạn không miễn phí: card tiêu thụ điện thực sự khi sinh văn bản và máy tính vẫn tiêu thụ một ít khi nhàn rỗi. Dưới đây là cách ước tính và khi nào API trả theo token rẻ hơn.


Điểm chính
- Một thiết lập người dùng đơn với tốc độ khoảng 30 token mỗi giây chi khoảng $0,63 tiền điện cho mỗi 1 triệu token đầu ra, trước khi tính phần cứng.
- Ở mức sử dụng nhẹ, API rẻ hơn. Ở mức sử dụng nặng hàng ngày, máy cục bộ có thể rẻ hơn chỉ về mặt điện.
- Công suất nhàn rỗi quan trọng hơn nhiều người mong đợi khi máy tính chạy cả ngày.
- Mua phần cứng, không phải điện, thường quyết định điểm hòa vốn thực sự.
Câu trả lời ngắn gọn
Chi phí điện cho mô hình LLM cục bộ phụ thuộc vào ba con số: số watt máy của bạn tiêu thụ khi tạo, số giờ tạo mỗi ngày và giá điện bạn trả cho mỗi kilowatt-giờ. Đối với máy tính để bàn một GPU điển hình, chi phí hàng tháng nằm trong khoảng vài đô la đến vài chục đô la. Con số này nhỏ so với giá phần cứng, nhưng khác 0 và đủ lớn để đáng chú ý khi bạn so sánh với việc trả phí theo token.
Phép tính bên dưới sử dụng các giả định bạn có thể thay bằng của riêng mình. Bên API sử dụng giá thực của dịch vụ này: $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra.
Công thức
Điện là năng lượng nhân với giá. Năng lượng tính bằng kilowatt-giờ là công suất tính bằng kilowatt nhân với giờ.
monthly_kwh = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwhSử dụng đồng hồ đo điện cắm vào nếu bạn có. Nó đo toàn bộ máy tại ổ cắm, đó là thứ bạn trả tiền. Đọc công suất bo mạch được xếp hạng của GPU từ bảng thông số kỹ thuật chỉ cho thấy một phần bức tranh, vì CPU, bộ nhớ, ổ đĩa, quạt và tổn thất bộ nguồn cộng thêm vào.
Đối với các ví dụ, tôi giả định:
- 450 W tại ổ cắm khi mô hình đang tạo (một card được định mức gần 350 W cộng với phần còn lại của hệ thống).
- 60 W tại ổ cắm khi máy tính đang bật nhưng ở trạng thái chờ.
- $0,15 mỗi kWh. Đây là một giả định. Giá điện thay đổi rất nhiều tùy theo quốc gia và thời điểm trong ngày, vì vậy hãy thay thế nó bằng con số trên hóa đơn của bạn.
- 30 token mỗi giây cho một người dùng duy nhất. Tốc độ của bạn phụ thuộc vào mô hình, mức lượng hóa của nó và card.
Ba mức sử dụng, đã tính toán
Hãy lấy một người dùng nhẹ, một người dùng trung bình và một người dùng nặng. Máy tính chạy cả ngày trong mỗi trường hợp, vì vậy giờ nhàn rỗi được tính.
| Sử dụng | Sinh văn bản mỗi ngày | Năng lượng mỗi tháng | Điện mỗi tháng | Token đầu ra mỗi tháng |
|---|---|---|---|---|
| Nhẹ | 1 giờ | 54,9 kWh | $8,24 | 3,24M |
| Trung bình | 4 giờ | 90,0 kWh | $13,50 | 12,96M |
| Nặng | 12 giờ | 183,6 kWh | $27,54 | 38,88M |
Dưới đây là hàng trung bình từng bước. Sinh văn bản: 4 giờ nhân 0,45 kW là 1,8 kWh mỗi ngày. Nhàn rỗi: 20 giờ nhân 0,06 kW là 1,2 kWh mỗi ngày. Tổng cộng 3,0 kWh mỗi ngày, vậy 90 kWh trong 30 ngày, với giá $0,15 là $13,50. Token: 4 giờ là 14.400 giây, nhân 30 token mỗi giây là 432.000 token mỗi ngày, hoặc 12,96M mỗi tháng.
Lưu ý cách người dùng nhẹ trả $8,24 cho chỉ 3,24M token. Điện nhàn rỗi chiếm phần lớn hóa đơn đó: 23 giờ nhàn rỗi ở 60 W là 1,38 kWh mỗi ngày, nhiều hơn gấp đôi 0,45 kWh dành cho sinh văn bản.
Chi phí cho cùng số token qua API
Sử dụng chat gửi nhiều token đầu vào hơn đầu ra, vì mỗi yêu cầu mang prompt hệ thống và cuộc trò chuyện cho đến nay. Giả định ba token đầu vào cho mỗi token đầu ra, đó là tỷ lệ hợp lý cho chat có lịch sử. Sau đó, hóa đơn mỗi tháng ở $0,15 và $0,50 mỗi 1 triệu là:
| Sử dụng | Chi phí đầu ra | Chi phí đầu vào (3x token đầu ra) | Tổng API | Điện cục bộ |
|---|---|---|---|---|
| Nhẹ | 3,24M x $0,50 = $1,62 | 9,72M x $0,15 = $1,46 | $3,08 | $8,24 |
| Trung bình | 12,96M x $0,50 = $6,48 | 38,88M x $0,15 = $5,83 | $12,31 | $13,50 |
| Nặng | 38,88M x $0,50 = $19,44 | 116,64M x $0,15 = $17,50 | $36,94 | $27,54 |
Có hai điểm nổi bật. Thứ nhất, khi thời gian sinh dưới khoảng bốn giờ mỗi ngày, API rẻ hơn cả tiền điện. Thứ hai, khi chạy mười hai giờ mỗi ngày, máy cục bộ tiết kiệm điện hơn vì tỷ lệ thời gian chờ giảm và bạn đang tận dụng bộ silicon mà mình đã trả tiền. Con số API cũng bao gồm xử lý đầu vào, GPU của bạn xử lý phần này miễn phí về mặt tiền bạc nhưng vẫn tiêu thụ năng lượng. Prefill rất nhanh nên tôi đã loại nó khỏi phần cục bộ; điều này hơi nghiêng về phía cục bộ.
Điện cho mỗi triệu token
Một cách hữu ích để so sánh là chi phí năng lượng trên 1 triệu token đầu ra trong quá trình tạo. Ở mức 450 W và 30 token mỗi giây, một triệu token mất khoảng 33.333 giây, hoặc 9,26 giờ. Đó là 4,17 kWh và ở mức $0,15 mỗi kWh thì khoảng $0,63. API tính $0,50 cho mỗi 1 triệu token đầu ra, còn đầu vào được tính riêng ở mức $0,15.
Ngay cả khi chưa tính GPU, một người dùng duy nhất tạo ra 30 token mỗi giây sẽ chi nhiều hơn cho điện cho mỗi token đầu ra so với giá API. Khoảng cách này chỉ thu hẹp nếu phần cứng của bạn nhanh hơn hoặc giá điện của bạn rẻ hơn. Ở tốc độ 60 token mỗi giây, cùng phép tính cho ra khoảng $0,31. Với giá $0,08 mỗi kWh và tốc độ 30 token mỗi giây, kết quả là khoảng $0,33. Bất kỳ thay đổi nào trong hai yếu tố này đều làm thay đổi kết quả, vì vậy bạn hãy tự tính toán.
Batching là trường hợp ngoại lệ. Một máy chủ xử lý nhiều yêu cầu cùng lúc sẽ tiêu thụ ít năng lượng hơn cho mỗi token, đó là lý do tại sao các nhà cung cấp dịch vụ lưu trữ có thể định giá thấp. Máy để bàn được một người sử dụng hiếm khi hưởng lợi từ việc này.
Những gì công thức chưa bao gồm
- Phần cứng. Một GPU chạy một mô hình hữu ích có giá cao hơn nhiều so với một năm tiền điện nêu trên. Chia đều trong vòng đời của nó, chi phí phần cứng thường chiếm ưu thế tổng thể. Trang về chi phí của một mô hình ngôn ngữ lớn sẽ trình bày chi tiết về khía cạnh mua sắm.
- Làm mát và tiếng ồn. Trong khí hậu ấm, nhiệt từ 450 W cũng làm tăng tải cho điều hòa không khí của bạn. Vào mùa đông, nó có thể là nguồn sưởi hữu ích.
- Các mô hình lớn hơn. Một mô hình cần hai card gần như nhân đôi số liệu tải.
- Thời gian của bạn. Cập nhật trình điều khiển, chọn lượng tử hóa và sửa lỗi tràn bộ nhớ là công việc mà API loại bỏ.
Mặt khác, một mô hình cục bộ không tốn chi phí cho mỗi yêu cầu bổ sung và hoạt động ngoại tuyến. Nếu bạn chạy nó nhiều giờ mỗi ngày, điều đó rất quan trọng.
Cách giảm hóa đơn cục bộ
Nếu bạn giữ ở chế độ cục bộ, một vài thói quen có thể giảm con số này mà không cần chạm vào mô hình.
- Cho máy vào chế độ ngủ. Chuyển từ trạng thái chờ 60 W cả ngày sang chế độ ngủ trong 16 trong số 20 giờ chờ mỗi ngày giúp tiết kiệm khoảng 29 kWh mỗi tháng trong trường hợp trung bình, tương đương khoảng $4,32 ở mức giá $0,15.
- Giới hạn công suất GPU. Nhiều card mất ít tốc độ tạo khi giới hạn công suất được giảm xuống 20 đến 30 phần trăm. Hãy kiểm tra card của riêng bạn vì kết quả khác nhau tùy theo mô hình và trình điều khiển.
- Sử dụng lượng tử hóa nhỏ hơn hoặc mô hình nhỏ hơn cho các tác vụ thường xuyên. Ít byte hơn cho mỗi trọng lượng có nghĩa là ít lưu lượng truy cập bộ nhớ hơn và thường tạo nhanh hơn, điều này rút ngắn thời gian card bận rộn.
- Chạy theo biểu giá theo thời gian sử dụng. Nếu nhà cung cấp dịch vụ điện của bạn tính phí thấp hơn vào ban đêm, hãy lên lịch các tác vụ batch cho những giờ đó.
Kiểm tra tiết kiệm ngủ: 16 giờ nhân 0,06 kW là 0,96 kWh mỗi ngày, nhân 30 là 28,8 kWh, nhân $0,15 là $4,32. Không có gì trong số này thay đổi bậc độ lớn, mặc dù. Điện vẫn là một phần nhỏ trong tổng chi phí so với chính phần cứng.
Thử nghiệm phía API với các số liệu thực tế
Bạn có thể kiểm tra ước tính API so với khối lượng công việc của mình một cách hiệu quả về chi phí. Người dùng mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột trên trang khóa API sau khi đăng ký, không cần thẻ, có hiệu lực trong 7 ngày. Gửi một vài yêu cầu thực tế, sau đó đọc tiêu đề phản hồi X-Balance-USD để xem chúng tốn bao nhiêu.
curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'So sánh số dư trước và sau, điều chỉnh theo số lượng yêu cầu dự kiến của bạn và đối chiếu với ước tính điện của bạn. Các tỷ lệ hiện tại và tiền thưởng nạp tiền được liệt kê trên trang giá cả, và chi tiết yêu cầu có trong tài liệu.
Hướng dẫn khác
Hỏi đáp
Một LLM cục bộ sử dụng bao nhiêu điện?
Một máy tính để bàn một GPU thường tiêu thụ vài trăm watt khi đang tạo và dưới 100 W khi chờ. Hãy đo tại ổ cắm bằng đồng hồ cắm trực tiếp, sau đó nhân với số giờ và giá mỗi kWh của bạn.
Mô hình có ở chế độ chờ hầu hết thời gian không?
Đối với hầu hết các thiết lập cá nhân, có. Mức tiêu thụ ở chế độ chờ có thể lớn hơn năng lượng tạo, vì vậy việc đưa máy tính vào chế độ ngủ giữa các phiên sẽ cắt giảm hóa đơn.
LLM tại chỗ có rẻ hơn API không?
Ở mức sử dụng nhẹ hoặc trung bình, thường không phải khi đã tính đến điện, và hoàn toàn không khi đã bao gồm phần cứng. Ở nhiều giờ sinh hàng ngày, nó có thể vượt trội chỉ về điện.
Tôi có thể kiểm tra chi phí API mà không cần trả tiền không?
Có. Tín dụng dùng thử một cú nhấp chuột trị giá $0,50 không cần thẻ, và tiêu đề số dư hiển thị chi phí cho mỗi yêu cầu.
uncensoredlocalllm.com
Khóa của bạn chỉ cách một biểu mẫu
Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.