ค่าไฟ LLM ในเครื่อง vs จ่ายต่อโทเคน
รันโมเดลบน GPU ของคุณไม่ฟรี: การ์ดใช้ไฟจริงขณะเจน และพีซยังใช้ไฟเล็กน้อยขณะพัก ดูวิธีประมาณการและเมื่อ API ต่อโทเคนถูกกว่า


ประเด็นสำคัญ
- เซตอัพผู้ใช้เดียวที่ 30 tokens/sec ใช้ไฟประมาณ $0.63 ต่อ 1M output tokens ก่อนรวมฮาร์ดแวร์
- การใช้งานเบา API ถูกกว่า การใช้งานหนักทุกวันเครื่องที่รันเองอาจชนะแค่ค่าไฟ
- ไฟขณะพักสำคัญกว่าที่คิดเมื่อพีซเปิดทั้งวัน
- การซื้อฮาร์ดแวร์มักเป็นตัวตัดสินจุดคุ้มทุนจริง ไม่ใช่ค่าไฟ
คำตอบแบบสั้น
ค่าไฟฟ้าสำหรับ LLM ในเครื่อง ขึ้นอยู่กับสามตัวเลข: จำนวนวัตต์ที่เครื่องของคุณดึงขณะสร้างข้อความ, จำนวนชั่วโมงต่อวันที่สร้างข้อความ, และอัตราค่าไฟต่อหน่วยกิโลวัตต์ชั่วโมงของคุณ สำหรับเดสก์ท็อป GPU ตัวเดียว ค่าใช้จ่ายรายเดือนจะอยู่ที่ไม่กี่ดอลลาร์ถึงหลักสิบดอลลาร์ นั่นเป็นจำนวนเล็กน้อยเมื่อเทียบกับราคาฮาร์ดแวร์ แต่ไม่ใช่ศูนย์ และมากพอที่จะมีนัยสำคัญเมื่อคุณเปรียบเทียบกับค่าใช้จ่ายต่อโทเคน
การคำนวณด้านล่างใช้ค่าสมมติที่คุณสามารถเปลี่ยนเป็นของคุณเองได้ ด้าน API ใช้ราคาจริงของบริการนี้: $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาต์พุต
สูตรคำนวณ
ค่าไฟฟ้าคือพลังงานคูณด้วยราคา พลังงานในหน่วยกิโลวัตต์-ชั่วโมง คือกำลังไฟฟ้าในหน่วยกิโลวัตต์คูณด้วยชั่วโมง
monthly_kwh = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwhใช้มิเตอร์วัดพลังงานแบบเสียบปลั๊กถ้ามี จะวัดทั้งเครื่องที่เต้ารับ ซึ่งคือสิ่งที่คุณจ่ายค่าไฟ การอ่านกำลังไฟบอร์ดของ GPU จากสเปคชีตให้เพียงส่วนหนึ่งของภาพรวม เพราะ CPU หน่วยความจำ ไดรฟ์ พัดลม และการสูญเสียของแหล่งจ่ายไฟเพิ่มเข้าไป
สำหรับตัวอย่าง ผมสมมติว่า:
- 450 W ที่เต้ารับขณะโมเดลกำลังสร้าง (การ์ดที่มีกำลังไฟประมาณ 350 W บวกกับระบบที่เหลือ)
- 60 W ที่เต้ารับเมื่อเปิด PC แต่อยู่ในสถานะว่าง
- $0.15 ต่อ kWh นี่คือค่าสมมติ อัตราแตกต่างกันมากตามประเทศและช่วงเวลาของวัน ดังนั้นให้แทนที่ด้วยตัวเลขในใบแจ้งหนี้ของคุณ
- 30 โทเคนต่อวินาที สำหรับการสร้างของผู้ใช้รายเดียว ความเร็วของคุณขึ้นอยู่กับโมเดล การควอนไทซ์ และการ์ด
ระดับการใช้งานสามระดับ คำนวณแล้ว
พิจารณาผู้ใช้เบา ปานกลาง และหนัก เครื่องจะเปิดตลอดวันในแต่ละกรณี ดังนั้นชั่วโมงสถานะว่างจึงถูกนับ
| การใช้งาน | การสร้างต่อวัน | พลังงานต่อเดือน | ค่าไฟฟ้าต่อเดือน | โทเคนเอาต์พุตต่อเดือน |
|---|---|---|---|---|
| เบา | 1 ชั่วโมง | 54.9 kWh | $8.24 | 3.24M |
| ปานกลาง | 4 ชั่วโมง | 90.0 kWh | $13.50 | 12.96M |
| หนัก | 12 ชั่วโมง | 183.6 กิโลวัตต์ชั่วโมง | $27.54 | 38.88 ล้าน |
นี่คือขั้นตอนแถวปานกลาง การสร้างข้อความ: 4 ชั่วโมง คูณ 0.45 กิโลวัตต์ ได้ 1.8 กิโลวัตต์ชั่วโมงต่อวัน สถานะว่าง: 20 ชั่วโมง คูณ 0.06 กิโลวัตต์ ได้ 1.2 กิโลวัตต์ชั่วโมงต่อวัน รวม 3.0 กิโลวัตต์ชั่วโมงต่อวัน ดังนั้น 90 กิโลวัตต์ชั่วโมงในช่วง 30 วัน ซึ่งที่อัตรา $0.15 จะได้ $13.50 โทเคน: 4 ชั่วโมง คือ 14,400 วินาที คูณ 30 โทเคนต่อวินาที ได้ 432,000 โทเคนต่อวัน หรือ 12.96M ต่อเดือน
สังเกตว่าผู้ใช้เบาจ่าย $8.24 สำหรับโทเคนเพียง 3.24M กำลังไฟในสถานะว่างคิดเป็นส่วนใหญ่ของบิลนั้น: 23 ชั่วโมงในสถานะว่างที่ 60 W คือ 1.38 kWh ต่อวัน มากกว่าสองเท่าของ 0.45 kWh ที่ใช้ขณะสร้าง
ต้นทุนของโทเคนเดียวกันผ่าน API
การใช้งานแชทส่งโทเคนเข้ามากกว่าที่ส่งออก เนื่องจากแต่ละคำขอประกอบด้วยระบบพรอมต์และประวัติการสนทนาจนปัจจุบัน สมมติอัตราส่วน 3 โทเคนอินพุตต่อ 1 โทเคนเอาท์พุต ซึ่งเป็นอัตราส่วนที่เป็นไปได้สำหรับการแชทที่มีประวัติ จากนั้นบิลรายเดือนที่ราคา $0.15 และ $0.50 ต่อ 1 ล้านโทเคนจะเป็นดังนี้:
| การใช้งาน | ต้นทุนผลลัพธ์ | ต้นทุนอินพุต (3 เท่าของโทเคนเอาต์พุต) | รวม API | ค่าไฟในเครื่อง |
|---|---|---|---|---|
| เบา | 3.24 ล้าน × $0.50 = $1.62 | 9.72 ล้าน × $0.15 = $1.46 | $3.08 | $8.24 |
| ปานกลาง | 12.96 ล้าน × $0.50 = $6.48 | 38.88 ล้าน × $0.15 = $5.83 | $12.31 | $13.50 |
| หนัก | 38.88M x $0.50 = $19.44 | 116.64M x $0.15 = $17.50 | $36.94 | $27.54 |
มีสองประเด็นที่โดดเด่น ประการแรก เมื่อเวลาสร้างข้อความต่ำกว่าประมาณสี่ชั่วโมงต่อวัน API จะมีราคาถูกกว่าค่าไฟฟ้าเพียงอย่างเดียว ประการที่สอง ที่สิบสองชั่วโมงต่อวัน เครื่องท้องถิ่นชนะด้านพลังงาน เพราะสัดส่วนสถานะว่างลดลง และคุณกำลังใช้ชิปที่คุณจ่ายไปแล้ว API รวมการประมวลผลอินพุต ซึ่ง GPU ของคุณทำฟรีในแง่เงินสดแต่ยังคงใช้พลังงานในการประมวลผล Prefill ทำได้เร็ว ดังนั้นผมจึงตัดออกจากการคำนวณฝั่งเครื่องท้องถิ่น; ซึ่งทำให้ฝั่งเครื่องท้องถิ่นได้เปรียบเล็กน้อย
ไฟฟ้าต่อล้านโทเคน
วิธีเปรียบเทียบที่มีประโยชน์คือต้นทุนพลังงานต่อ 1 ล้านโทเคนเอาท์พุตในช่วงการสร้างเนื้อหาเท่านั้น ที่ 450 วัตต์และ 30 โทเคนต่อวินาที การสร้างหนึ่งล้านโทเคนใช้เวลาประมาณ 33,333 วินาที หรือ 9.26 ชั่วโมง นั่นคือ 4.17 กิโลวัตต์ชั่วโมง และที่ราคา $0.15 ต่อ กิโลวัตต์ชั่วโมง จะเท่ากับ $0.63 API คิดราคา $0.50 ต่อ 1 ล้านโทเคนเอาท์พุต โดยอินพุตคิดราคาแยกต่างหากที่ $0.15
ดังนั้น แม้ยังไม่รวมค่า GPU ผู้ใช้งานรายเดียวที่สร้างเนื้อหาด้วยความเร็ว 30 โทเคนต่อวินาที จะเสียค่าไฟต่อโทเคนเอาท์พุตมากกว่าราคา API ช่องว่างนี้จะแคบลงก็ต่อเมื่อฮาร์ดแวร์ของคุณเร็วขึ้นหรือค่าไฟฟ้าถูกกว่า ที่ความเร็ว 60 โทเคนต่อวินาที การคำนวณเดียวกันให้ผลประมาณ $0.31 ที่ราคา $0.08 ต่อ กิโลวัตต์ชั่วโมงและความเร็ว 30 โทเคนต่อวินาที ผลลัพธ์จะประมาณ $0.33 การเปลี่ยนแปลงใด ๆ ในสองปัจจัยนี้จะเปลี่ยนคำตอบ ดังนั้นลองคำนวณด้วยตัวเลขของคุณเอง
Batching เป็นข้อยกเว้น เซิร์ฟเวอร์ที่จัดการคำขอหลายรายการพร้อมกันใช้พลังงานต่อโทเคนน้อยกว่ามาก นี่คือเหตุผลที่ผู้ให้บริการโฮสต์สามารถกำหนดราคาต่ำได้ เดสก์ท็อปที่ใช้โดยคนเดียวมักไม่ได้รับประโยชน์จากสิ่งนี้
สิ่งที่สูตรนี้ไม่ได้รวมอยู่
- ฮาร์ดแวร์ GPU ที่รันโมเดลที่มีประสิทธิภาพมีราคาสูงกว่าค่าไฟฟ้าข้างต้นหนึ่งปี เมื่อกระจายตลอดอายุการใช้งาน มักจะเป็นส่วนหลักของต้นทุนรวม หน้า ต้นทุนของ LLM อธิบายด้านค่าใช้จ่ายในการซื้อ
- การระบายความร้อนและเสียง ในสภาพอากาศร้อน ความร้อนจาก 450 วัตต์ยังทำให้เครื่องปรับอากาศของคุณทำงานหนักขึ้น ในฤดูหนาว ความร้อนนี้สามารถนำไปใช้เป็นเครื่องทำความร้อนได้บางส่วน
- โมเดลขนาดใหญ่ขึ้น โมเดลที่ต้องใช้การ์ดสองใบจะเพิ่มภาระเป็นสองเท่า
- เวลาของคุณ การอัปเดตไดรเวอร์ การเลือก quantization และการแก้ไขข้อผิดพลาด out-of-memory คืองานที่ API ช่วยกำจัดออกไป
ในทางกลับกัน โมเดลแบบท้องถิ่นมีค่าใช้จ่ายเป็นศูนย์ต่อคำขอที่เพิ่มขึ้นและทำงานแบบออฟไลน์ได้ หากคุณใช้งานหลายชั่วโมงทุกวัน สิ่งนี้มีความสำคัญ
วิธีลดค่าใช้จ่ายแบบท้องถิ่น
หากคุณใช้งานแบบท้องถิ่น ความเคยชินไม่กี่อย่างสามารถลดตัวเลขนี้ได้โดยไม่แตะต้องโมเดล
- ทำให้เครื่องอยู่ในโหมดสลีป การเปลี่ยนจาก 60 W ตลอดทั้งวันเป็นโหมดสลีป 16 ชั่วโมงจาก 20 ชั่วโมงที่เครื่องว่าง จะประหยัดพลังงานได้ประมาณ 29 kWh ต่อเดือนในกรณีปานกลาง คิดเป็นประมาณ $4.32 ที่อัตรา $0.15
- จำกัดกำลังไฟ GPU การ์ดจำนวนมากสูญเสียความเร็วในการสร้างเพียงเล็กน้อยเมื่อจำกัดกำลังไฟลดลง 20 ถึง 30 เปอร์เซ็นต์ ทดสอบการ์ดของคุณเองเนื่องจากผลลัพธ์แตกต่างกันไปตามโมเดลและไดรเวอร์
- ใช้การควอนไทเซชันหรือโมเดลที่เล็กลงสำหรับงานทั่วไป ไบต์ต่อน้ำหนักที่น้อยลงหมายถึงการจราจรของหน่วยความจำที่น้อยลงและมักจะทำให้การสร้างข้อความเร็วขึ้น ซึ่งลดชั่วโมงที่การ์ดต้องทำงาน
- ทำงานบนอัตราค่าไฟฟ้าตามช่วงเวลา หากผู้ให้บริการของคุณคิดค่าไฟถูกลงในเวลากลางคืน ให้กำหนดเวลาทำงานแบบแบทช์ในช่วงเวลานั้น
ตรวจสอบการประหยัดจากโหมดสลีป: 16 ชั่วโมง คูณ 0.06 kW ได้ 0.96 kWh ต่อวัน คูณ 30 ได้ 28.8 kWh คูณ $0.15 ได้ $4.32 สิ่งเหล่านี้ไม่เปลี่ยนลำดับขนาด ไฟฟ้าเป็นส่วนเล็กมากของยอดรวมเมื่อเทียบกับฮาร์ดแวร์เอง
ลองทดสอบ API ด้วยตัวเลขจริง
คุณสามารถตรวจสอบการประมาณการ API กับภาระงานของคุณเองได้อย่างประหยัด ผู้ใช้ใหม่สามารถรับเครดิตทดลองใช้ $0.50 ได้คลิกเดียวที่หน้า คีย์ API หลังจากสมัครสมาชิก ไม่ต้องใช้บัตร ใช้ได้ 7 วัน ส่งคำขอที่สมจริงไม่กี่คำ แล้วอ่านส่วนหัวของคำตอบ X-Balance-USD เพื่อดูว่าแต่ละคำขอมีค่าใช้จ่ายเท่าใด
curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'เปรียบเทียบยอดคงเหลือก่อนและหลัง ขยายตามจำนวนคำขอที่คาดหวังของคุณ แล้วเปรียบเทียบกับประมาณการค่าไฟฟ้าของคุณ อัตราปัจจุบันและโบนัสการเติมเงินแสดงอยู่ที่หน้าราคา และรายละเอียดคำขออยู่ใน เอกสาร
คู่มือเพิ่มเติม
ถาม-ตอบ
LLM แบบโลคอลใช้ไฟฟ้าเท่าไหร่?
เดสก์ท็อป GPU เดี่ยวทั่วไปใช้พลังงานหลักร้อยวัตต์ขณะสร้างและน้อยกว่า 100 W เมื่อสถานะว่าง วัดที่เต้ารับด้วยมิเตอร์แบบเสียบ แล้วคูณด้วยชั่วโมงและราคาต่อ kWh ของคุณ
โมเดลอยู่ในสถานะว่างส่วนใหญ่หรือไม่?
สำหรับการตั้งค่าส่วนบุคคลส่วนใหญ่ ใช่ การดึงพลังงานขณะสถานะว่างอาจสูงกว่าพลังงานขณะสร้างข้อความ ดังนั้นการตั้งค่าพีซีเข้าสู่โหมดสลีประหว่างเซสชันจะช่วยตัดค่าใช้จ่ายได้
LLM ในเครื่องถูกกว่า API หรือไม่?
เมื่อใช้งานเบาหรือปานกลาง โดยทั่วไปไม่ประหยัดเมื่อรวมพลังงาน และไม่ได้ประหยัดเลยเมื่อรวมฮาร์ดแวร์ เมื่อสร้างหลายชั่วโมงต่อวัน อาจประหยัดด้านพลังงานเพียงอย่างเดียว
ฉันสามารถทดสอบต้นทุน API โดยไม่ต้องจ่ายได้หรือไม่?
ได้ เครดิตทดลองใช้คลิกเดียว $0.50 ไม่ต้องใช้บัตร และส่วนหัวของยอดคงเหลือแสดงว่าแต่ละคำขอมีค่าใช้จ่ายเท่าใด
uncensoredlocalllm.com
คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด