VI ▾
Lấy khóa API

uncensoredlocalllm.comHướng dẫn

Chi phí phần cứng LLM tại chỗ: Khi nào API rẻ hơn

Một mô hình tại chỗ khả dụng cần một GPU có nhiều bộ nhớ, một máy chủ tốt và hóa đơn tiền điện. Trải đều trong ba năm, chi phí đó cao hơn nhiều so với số tiền hầu hết mọi người chi cho token mỗi tháng.

Cập nhật

Cân bằng chi phí phần cứng PC với một đám mây token, cho thấy chi phí phần cứng LLM tại chỗ so với API
Minh họa đẳng hướng của một GPU tại chỗ được kết nối với đám mây lưu trữ, đại diện cho việc lập trình mô hình tại chỗ so với API

Điểm chính

  • Bộ nhớ trên GPU, không phải tốc độ thô, quyết định những gì bạn có thể chạy và những gì bạn phải trả.
  • Với bộ máy minh họa bên dưới, điểm hòa vốn là khoảng 232 triệu token mỗi tháng, hoặc khoảng 18 giờ tạo mỗi ngày.
  • API thắng ở khối lượng thấp và theo đợt; giải pháp tại chỗ thắng cho việc sử dụng liên tục, nặng, nhu cầu riêng tư và công việc ngoại tuyến.
  • Hãy coi mọi giá phần cứng ở đây là giá tạm và kiểm tra giá thị trường hiện tại.

Điều gì thúc đẩy giá cả

Chi phí phần cứng LLM tại chỗ chủ yếu là một thành phần: card đồ họa, và cụ thể là lượng bộ nhớ video của nó. Trọng lượng mô hình phải vừa với VRAM, hoặc trong một sự kết hợp chậm hơn giữa VRAM và RAM hệ thống. Quy tắc sơ bộ cho riêng trọng lượng là số tham số nhân với số bit trên mỗi trọng lượng chia cho tám. Một mô hình với 8 tỷ tham số ở lượng tử hóa 4-bit cần khoảng 4 GB. Một mô hình 70 tỷ ở 4-bit cần khoảng 35 GB. Ngoài ra bạn cần chỗ cho bộ nhớ đệm KV, vốn tăng theo độ dài ngữ cảnh, và một số chi phí phát sinh.

Đó là lý do tại sao đường cong giá tăng mạnh. Một card có 12 GB bộ nhớ chạy các mô hình nhỏ. Một card 24 GB chạy các mô hình cỡ vừa một cách thoải mái. Bất cứ thứ gì lớn hơn có nghĩa là hai card hoặc phần cứng máy trạm. Tốc độ ít quan trọng hơn dung lượng: một card chậm hơn vừa với mô hình thắng một card nhanh hơn không vừa.

Một bộ máy ngân sách, một bộ máy tầm trung và một bộ máy lớn

Các mức giá bên dưới là các giả định minh họa, không phải báo giá. Giá cũ và mới thay đổi liên tục, vì vậy hãy thay thế chúng bằng những gì bạn thực sự tìm thấy. Điểm mấu chốt là hình dạng của phép tính.

MụcBộ máy nhỏBộ máy tầm trungBộ máy lớn
Bộ nhớ GPU12 GB24 GB2 x 24 GB
GPU (giả định)$350$800$1,600
CPU, bo mạch, 32 đến 64 GB RAM, SSD (giả định)$500$600$900
Nguồn điện, vỏ, làm mát (giả định)$150$100$200
Tổng cộng (giả định)$1,000$1,500$2,700

Nếu bạn đã sở hữu một PC chơi game với card phù hợp, chi phí biên của bạn bằng không và phần còn lại của bài viết này có lợi hơn nhiều cho việc chạy tại chỗ. Nếu bạn đang mua mới, bảng này gần với sự thật hơn.

Biến khoản mua thành chi phí hàng tháng

Phân bổ việc xây dựng trong thời gian sử dụng thực tế và tính thêm điện. Bản trung bình giá $1.500 trong 36 tháng là $41,67 mỗi tháng. Thêm điện cho máy tạo khoảng bốn giờ mỗi ngày: dùng 450 W khi tải, 60 W khi chờ và giá $0,15 mỗi kWh thì tốn $13,50 mỗi tháng. Tổng cộng: $55,17 mỗi tháng.

Bộ máyPhần cứng mỗi tháng (36 tháng)Điện năng mỗi tháng (4 h/ngày)Tổng cộng mỗi tháng
Nhỏ$27,78$13,50$41,28
Trung bình$41,67$13,50$55,17
Lớn$75,00$23,40$98,40

Số tiền điện của bộ máy lớn giả định 800 W khi tải và 100 W khi chờ: 3.2 kWh cộng 2.0 kWh mỗi ngày là 5.2 kWh, nhân 30 là 156 kWh, nhân $0,15 là $23,40.

Điểm hòa vốn so với giá token trên mỗi token

Bây giờ hãy chuyển con số hàng tháng đó sang token. Giả sử lưu lượng trò chuyện với ba token đầu vào cho mỗi token đầu ra. Một triệu token đầu ra cộng ba triệu token đầu vào tốn 1 x $0,50 + 3 x $0,15 = $0,95 cho bốn triệu token, trung bình $0,2375 cho mỗi 1M token. Đối với bản trung bình:

  • $55,17 chia cho $0,2375 cho mỗi 1 triệu là khoảng 232 triệu token mỗi tháng tại điểm hòa vốn.
  • Một phần tư trong số đó là đầu ra: khoảng 58 triệu token đầu ra.
  • Ở tốc độ 30 token mỗi giây, một máy sẽ tạo ra khoảng 77.8 triệu token đầu ra nếu chạy hết công suất trong 30 ngày (2.592 triệu giây nhân 30).

58 triệu token đầu ra ở tốc độ 30 mỗi giây mất 1.94 triệu giây, khoảng 538 giờ, đó là 17.9 giờ tạo mỗi ngày. Một người gõ prompt đơn lẻ không làm điều đó. Một đường ống batch hoặc một dịch vụ với nhiều người dùng có thể.

Nơi tại chỗ vẫn có ý nghĩa

Điểm hòa vốn nói rằng API rẻ hơn cho hầu hết các cá nhân. Nó không nói rằng tại chỗ là vô nghĩa. Lý do để mua phần cứng dù sao:

  • Bạn đã sở hữu card. Sau đó chỉ có điện là quan trọng.
  • Tải liên tục. Một pipeline chạy cả ngày, chẳng hạn như phân loại hàng loạt, có thể giữ cho GPU hoạt động đủ để đạt điểm hòa vốn.
  • Công việc ngoại tuyến hoặc cách ly mạng. Không có mạng, không hóa đơn theo token, không dữ liệu rời khỏi tòa nhà.
  • Thử nghiệm với trọng số. Nếu bạn muốn thay đổi lượng hóa, hợp nhất các mô hình hoặc chạy các phiên bản tinh chỉnh riêng, bạn cần các tệp này trên đĩa của mình.

Để có cái nhìn tổng quát hơn về chi phí sử dụng LLM nói chung, hãy xem trang chi phí của một LLM. Lý do để thuê thay vì tự triển khai: nhu cầu sử dụng không ổn định, nhiều thử nghiệm với các kích thước khác nhau, nhu cầu cửa sổ ngữ cảnh dài mà không cần mua thêm VRAM, và không muốn duy trì trình điều khiển và máy chủ suy luận. Tùy chọn được lưu trữ ở đây có cửa sổ ngữ cảnh 100.000 token, yêu cầu rất nhiều bộ nhớ cho bộ đệm KV khi chạy tại chỗ.

Ba người, ba câu trả lời

Các con số dễ tin hơn khi chúng khớp với một tình huống thực tế. Dưới đây là ba hồ sơ, được định giá ở mức $0,15 và $0,50 cho mỗi 1 triệu token với tỷ lệ đầu vào là ba đến một.

  • Người dùng phổ thông trò chuyện trong một hoặc hai giờ mỗi ngày và gửi tổng cộng khoảng 10 triệu token mỗi tháng. Với mức giá pha trộn $0,2375 cho mỗi 1 triệu token, chi phí là $2,38. So sánh điều đó với $41,28 mỗi tháng cho thậm chí bản xây dựng nhỏ nhất. API rẻ hơn khoảng mười bảy lần.
  • Nhà phát triển chạy trợ lý soạn thảo và các tập lệnh kiểm tra, khoảng 60 triệu token mỗi tháng: $14,25 qua API. Bản xây dựng trung bình tốn $55,17 mỗi tháng, vì vậy API vẫn thắng rõ ràng trừ khi bạn đã sở hữu card.
  • Nhà vận hành lô phân loại tài liệu suốt ngày đêm, 400 triệu token mỗi tháng: $95,00 qua API. Bản xây dựng trung bình với giá $55,17 rẻ hơn nếu nó thực sự xử lý được khối lượng đó, nhưng ở tốc độ 30 token mỗi giây đầu ra, nó đạt giới hạn gần 77,8 triệu token đầu ra mỗi tháng, khoảng 311 triệu token tổng cộng với cùng tỷ lệ đó. Vì vậy, nhà vận hành cần một card thứ hai hoặc phải chấp nhận khối lượng thấp hơn, điều này đẩy chi phí tại chỗ lên cao.

Mô hình nhất quán: API thắng cho đến khi việc sử dụng là liên tục và lớn, và năng lực tại chỗ sau đó trở thành nút cổ chai. Độ đồng thời cũng khác biệt. Một khóa API đầy đủ ở đây cho phép 8 yêu cầu đồng thời, trong khi một GPU máy tính để bàn đơn lẻ thường phục vụ một yêu cầu cùng một lúc ở tốc độ đầy đủ.

Chi tiêu ít hơn, và những gì hóa đơn bỏ sót

Các cách để chi tiêu ít hơn cho phần cứng

  • Mua hàng đã qua sử dụng. Các card thế hệ trước với 24 GB bộ nhớ thường có giá trị tốt nhất trên mỗi gigabyte. Hãy kiểm tra người bán và thử nghiệm card dưới tải khi nhận hàng.
  • Tải bớt các lớp. Các công cụ suy luận như llama.cpp có thể giữ một phần của mô hình trong RAM hệ thống. Nó chạy, nhưng chậm hơn, vì vậy chỉ sử dụng điều này khi tốc độ không quan trọng.
  • Chọn một mô hình nhỏ hơn. Một mô hình 8B được tinh chỉnh tốt trên một card 12 GB bao phủ nhiều nhiệm vụ hàng ngày. Chỉ trả tiền cho kích thước khi một nhiệm vụ thực sự cần nó.
  • Thuê thời gian GPU theo giờ. Việc thuê GPU đám mây tránh được chi phí mua nhưng có các mức giá theo giờ riêng, vì vậy hãy kiểm tra giá hiện tại của họ và so sánh với việc tính phí theo token.

Chi phí ẩn mà mọi người thường quên

  • Khấu hao. GPU mất giá trị bán lại khi các card mới ra mắt. Tuổi thọ 36 tháng ở trên là một ước tính.
  • Hỏng hóc và thay thế. Nguồn điện hoặc quạt bị hỏng là một hóa đơn chi phí bất ngờ.
  • Nâng cấp. Các mô hình trọng số mở mới có xu hướng lớn hơn. Một card phù hợp với mô hình phổ biến hiện tại có thể không phù hợp với mô hình của năm sau.
  • Thời gian. Cài đặt, cập nhật và gỡ lỗi là thời gian thực tế. Nếu bạn coi trọng chúng, hãy cộng chúng vào.
  • Tiếng ồn và nhiệt. Một máy 450 W trong một phòng nhỏ sẽ ồn và tỏa nhiệt.

Không có những khoản này xuất hiện trên hóa đơn, đó là lý do tại sao một bộ máy thường trông rẻ hơn trong suy nghĩ của mọi người so với thực tế.

Kiểm tra điểm hòa vốn của chính bạn

Chọn các số của bạn và chạy công cụ này. Nó lấy chi phí chạy tại chỗ hàng tháng của bạn và hiển thị khối lượng token hàng tháng mà API khớp với nó, theo giá của dịch vụ này.

local_monthly = 55.17        # hardware per month + electricity
in_price, out_price = 0.15, 0.50   # dollars per 1M tokens
ratio = 3                    # input tokens per output token

blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")

Nếu khối lượng thực của bạn thấp hơn nhiều so với mức đó, hãy sử dụng API. Để đo lường khối lượng của bạn, hãy nhận tín dụng dùng thử trên trang khóa API, chạy các prompt thực của bạn với https://api.uncensoredlocalllm.com/v1 với mô hình uncensored, và đọc mức sử dụng token trong mỗi phản hồi. Xem tài liệu để biết định dạng yêu cầu và trang giá cả để nạp tiền.

Hỏi đáp

Một máy tính có thể chạy LLM tại chỗ tốn bao nhiêu?

Nó phụ thuộc vào kích thước mô hình mà bạn muốn. Với các giá giữ chỗ trong bài viết này, một bản xây dựng nhỏ tốn khoảng $1.000 và một bản xây dựng trung bình với card 24 GB tốn khoảng $1.500. Hãy kiểm tra giá thị trường hiện tại trước khi bạn lên kế hoạch.

Tôi có cần GPU để chạy LLM tại chỗ không?

Không, các mô hình nhỏ chạy trên CPU với đủ RAM, nhưng việc tạo văn bản chậm hơn nhiều. Một GPU có đủ bộ nhớ cho các trọng số là thứ khiến nó trở nên thực tế.

Khi nào LLM tại chỗ rẻ hơn API?

Khi máy bận nhiều giờ mỗi ngày, khi bạn đã sở hữu phần cứng, hoặc khi bạn cần hoạt động ngoại tuyến. Ở mức giá trong bài viết này, bộ cấu hình trung bình hòa vốn ở mức khoảng 18 giờ tạo văn bản mỗi ngày.

Tôi có thể thử API trước khi mua phần cứng không?

Có. Người dùng mới có thể nhận $0,50 tín dụng dùng thử mà không cần thẻ và chạy các prompt thực của họ để xem chất lượng và chi phí.

uncensoredlocalllm.com

Khóa của bạn chỉ cách một biểu mẫu đăng ký

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.