TH ▾
รับคีย์ API

uncensoredlocalllm.comคู่มือ

ค่าไฟ LLM ในเครื่อง vs จ่ายต่อโทเคน

รันโมเดลบน GPU ของคุณไม่ฟรี: การ์ดใช้ไฟจริงขณะเจน และพีซยังใช้ไฟเล็กน้อยขณะพัก ดูวิธีประมาณการและเมื่อ API ต่อโทเคนถูกกว่า

อัปเดต

GPU ไอโซเมตริกเชื่อมมิเตอร์ไฟและเหรียญ แสดงค่าไฟ LLM ในเครื่อง
ภาพไอโซเมตริก GPU ในเครื่องเชื่อมคลาวด์ แสดงโมเดลโค้ดดิ้งในเครื่องเทียบกับ API

ประเด็นสำคัญ

  • เซตอัพผู้ใช้เดียวที่ 30 tokens/sec ใช้ไฟประมาณ $0.63 ต่อ 1M output tokens ก่อนรวมฮาร์ดแวร์
  • การใช้งานเบา API ถูกกว่า การใช้งานหนักทุกวันเครื่องที่รันเองอาจชนะแค่ค่าไฟ
  • ไฟขณะพักสำคัญกว่าที่คิดเมื่อพีซเปิดทั้งวัน
  • การซื้อฮาร์ดแวร์มักเป็นตัวตัดสินจุดคุ้มทุนจริง ไม่ใช่ค่าไฟ

คำตอบแบบสั้น

ค่าไฟฟ้าสำหรับ LLM ในเครื่อง ขึ้นอยู่กับสามตัวเลข: จำนวนวัตต์ที่เครื่องของคุณดึงขณะสร้างข้อความ, จำนวนชั่วโมงต่อวันที่สร้างข้อความ, และอัตราค่าไฟต่อหน่วยกิโลวัตต์ชั่วโมงของคุณ สำหรับเดสก์ท็อป GPU ตัวเดียว ค่าใช้จ่ายรายเดือนจะอยู่ที่ไม่กี่ดอลลาร์ถึงหลักสิบดอลลาร์ นั่นเป็นจำนวนเล็กน้อยเมื่อเทียบกับราคาฮาร์ดแวร์ แต่ไม่ใช่ศูนย์ และมากพอที่จะมีนัยสำคัญเมื่อคุณเปรียบเทียบกับค่าใช้จ่ายต่อโทเคน

การคำนวณด้านล่างใช้ค่าสมมติที่คุณสามารถเปลี่ยนเป็นของคุณเองได้ ด้าน API ใช้ราคาจริงของบริการนี้: $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาต์พุต

สูตรคำนวณ

ค่าไฟฟ้าคือพลังงานคูณด้วยราคา พลังงานในหน่วยกิโลวัตต์-ชั่วโมง คือกำลังไฟฟ้าในหน่วยกิโลวัตต์คูณด้วยชั่วโมง

monthly_kwh  = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwh

ใช้มิเตอร์วัดพลังงานแบบเสียบปลั๊กถ้ามี จะวัดทั้งเครื่องที่เต้ารับ ซึ่งคือสิ่งที่คุณจ่ายค่าไฟ การอ่านกำลังไฟบอร์ดของ GPU จากสเปคชีตให้เพียงส่วนหนึ่งของภาพรวม เพราะ CPU หน่วยความจำ ไดรฟ์ พัดลม และการสูญเสียของแหล่งจ่ายไฟเพิ่มเข้าไป

สำหรับตัวอย่าง ผมสมมติว่า:

  • 450 W ที่เต้ารับขณะโมเดลกำลังสร้าง (การ์ดที่มีกำลังไฟประมาณ 350 W บวกกับระบบที่เหลือ)
  • 60 W ที่เต้ารับเมื่อเปิด PC แต่อยู่ในสถานะว่าง
  • $0.15 ต่อ kWh นี่คือค่าสมมติ อัตราแตกต่างกันมากตามประเทศและช่วงเวลาของวัน ดังนั้นให้แทนที่ด้วยตัวเลขในใบแจ้งหนี้ของคุณ
  • 30 โทเคนต่อวินาที สำหรับการสร้างของผู้ใช้รายเดียว ความเร็วของคุณขึ้นอยู่กับโมเดล การควอนไทซ์ และการ์ด

ระดับการใช้งานสามระดับ คำนวณแล้ว

พิจารณาผู้ใช้เบา ปานกลาง และหนัก เครื่องจะเปิดตลอดวันในแต่ละกรณี ดังนั้นชั่วโมงสถานะว่างจึงถูกนับ

การใช้งานการสร้างต่อวันพลังงานต่อเดือนค่าไฟฟ้าต่อเดือนโทเคนเอาต์พุตต่อเดือน
เบา1 ชั่วโมง54.9 kWh$8.243.24M
ปานกลาง4 ชั่วโมง90.0 kWh$13.5012.96M
หนัก12 ชั่วโมง183.6 กิโลวัตต์ชั่วโมง$27.5438.88 ล้าน

นี่คือขั้นตอนแถวปานกลาง การสร้างข้อความ: 4 ชั่วโมง คูณ 0.45 กิโลวัตต์ ได้ 1.8 กิโลวัตต์ชั่วโมงต่อวัน สถานะว่าง: 20 ชั่วโมง คูณ 0.06 กิโลวัตต์ ได้ 1.2 กิโลวัตต์ชั่วโมงต่อวัน รวม 3.0 กิโลวัตต์ชั่วโมงต่อวัน ดังนั้น 90 กิโลวัตต์ชั่วโมงในช่วง 30 วัน ซึ่งที่อัตรา $0.15 จะได้ $13.50 โทเคน: 4 ชั่วโมง คือ 14,400 วินาที คูณ 30 โทเคนต่อวินาที ได้ 432,000 โทเคนต่อวัน หรือ 12.96M ต่อเดือน

สังเกตว่าผู้ใช้เบาจ่าย $8.24 สำหรับโทเคนเพียง 3.24M กำลังไฟในสถานะว่างคิดเป็นส่วนใหญ่ของบิลนั้น: 23 ชั่วโมงในสถานะว่างที่ 60 W คือ 1.38 kWh ต่อวัน มากกว่าสองเท่าของ 0.45 kWh ที่ใช้ขณะสร้าง

ต้นทุนของโทเคนเดียวกันผ่าน API

การใช้งานแชทส่งโทเคนเข้ามากกว่าที่ส่งออก เนื่องจากแต่ละคำขอประกอบด้วยระบบพรอมต์และประวัติการสนทนาจนปัจจุบัน สมมติอัตราส่วน 3 โทเคนอินพุตต่อ 1 โทเคนเอาท์พุต ซึ่งเป็นอัตราส่วนที่เป็นไปได้สำหรับการแชทที่มีประวัติ จากนั้นบิลรายเดือนที่ราคา $0.15 และ $0.50 ต่อ 1 ล้านโทเคนจะเป็นดังนี้:

การใช้งานต้นทุนผลลัพธ์ต้นทุนอินพุต (3 เท่าของโทเคนเอาต์พุต)รวม APIค่าไฟในเครื่อง
เบา3.24 ล้าน × $0.50 = $1.629.72 ล้าน × $0.15 = $1.46$3.08$8.24
ปานกลาง12.96 ล้าน × $0.50 = $6.4838.88 ล้าน × $0.15 = $5.83$12.31$13.50
หนัก38.88M x $0.50 = $19.44116.64M x $0.15 = $17.50$36.94$27.54

มีสองประเด็นที่โดดเด่น ประการแรก เมื่อเวลาสร้างข้อความต่ำกว่าประมาณสี่ชั่วโมงต่อวัน API จะมีราคาถูกกว่าค่าไฟฟ้าเพียงอย่างเดียว ประการที่สอง ที่สิบสองชั่วโมงต่อวัน เครื่องท้องถิ่นชนะด้านพลังงาน เพราะสัดส่วนสถานะว่างลดลง และคุณกำลังใช้ชิปที่คุณจ่ายไปแล้ว API รวมการประมวลผลอินพุต ซึ่ง GPU ของคุณทำฟรีในแง่เงินสดแต่ยังคงใช้พลังงานในการประมวลผล Prefill ทำได้เร็ว ดังนั้นผมจึงตัดออกจากการคำนวณฝั่งเครื่องท้องถิ่น; ซึ่งทำให้ฝั่งเครื่องท้องถิ่นได้เปรียบเล็กน้อย

ไฟฟ้าต่อล้านโทเคน

วิธีเปรียบเทียบที่มีประโยชน์คือต้นทุนพลังงานต่อ 1 ล้านโทเคนเอาท์พุตในช่วงการสร้างเนื้อหาเท่านั้น ที่ 450 วัตต์และ 30 โทเคนต่อวินาที การสร้างหนึ่งล้านโทเคนใช้เวลาประมาณ 33,333 วินาที หรือ 9.26 ชั่วโมง นั่นคือ 4.17 กิโลวัตต์ชั่วโมง และที่ราคา $0.15 ต่อ กิโลวัตต์ชั่วโมง จะเท่ากับ $0.63 API คิดราคา $0.50 ต่อ 1 ล้านโทเคนเอาท์พุต โดยอินพุตคิดราคาแยกต่างหากที่ $0.15

ดังนั้น แม้ยังไม่รวมค่า GPU ผู้ใช้งานรายเดียวที่สร้างเนื้อหาด้วยความเร็ว 30 โทเคนต่อวินาที จะเสียค่าไฟต่อโทเคนเอาท์พุตมากกว่าราคา API ช่องว่างนี้จะแคบลงก็ต่อเมื่อฮาร์ดแวร์ของคุณเร็วขึ้นหรือค่าไฟฟ้าถูกกว่า ที่ความเร็ว 60 โทเคนต่อวินาที การคำนวณเดียวกันให้ผลประมาณ $0.31 ที่ราคา $0.08 ต่อ กิโลวัตต์ชั่วโมงและความเร็ว 30 โทเคนต่อวินาที ผลลัพธ์จะประมาณ $0.33 การเปลี่ยนแปลงใด ๆ ในสองปัจจัยนี้จะเปลี่ยนคำตอบ ดังนั้นลองคำนวณด้วยตัวเลขของคุณเอง

Batching เป็นข้อยกเว้น เซิร์ฟเวอร์ที่จัดการคำขอหลายรายการพร้อมกันใช้พลังงานต่อโทเคนน้อยกว่ามาก นี่คือเหตุผลที่ผู้ให้บริการโฮสต์สามารถกำหนดราคาต่ำได้ เดสก์ท็อปที่ใช้โดยคนเดียวมักไม่ได้รับประโยชน์จากสิ่งนี้

สิ่งที่สูตรนี้ไม่ได้รวมอยู่

  • ฮาร์ดแวร์ GPU ที่รันโมเดลที่มีประสิทธิภาพมีราคาสูงกว่าค่าไฟฟ้าข้างต้นหนึ่งปี เมื่อกระจายตลอดอายุการใช้งาน มักจะเป็นส่วนหลักของต้นทุนรวม หน้า ต้นทุนของ LLM อธิบายด้านค่าใช้จ่ายในการซื้อ
  • การระบายความร้อนและเสียง ในสภาพอากาศร้อน ความร้อนจาก 450 วัตต์ยังทำให้เครื่องปรับอากาศของคุณทำงานหนักขึ้น ในฤดูหนาว ความร้อนนี้สามารถนำไปใช้เป็นเครื่องทำความร้อนได้บางส่วน
  • โมเดลขนาดใหญ่ขึ้น โมเดลที่ต้องใช้การ์ดสองใบจะเพิ่มภาระเป็นสองเท่า
  • เวลาของคุณ การอัปเดตไดรเวอร์ การเลือก quantization และการแก้ไขข้อผิดพลาด out-of-memory คืองานที่ API ช่วยกำจัดออกไป

ในทางกลับกัน โมเดลแบบท้องถิ่นมีค่าใช้จ่ายเป็นศูนย์ต่อคำขอที่เพิ่มขึ้นและทำงานแบบออฟไลน์ได้ หากคุณใช้งานหลายชั่วโมงทุกวัน สิ่งนี้มีความสำคัญ

วิธีลดค่าใช้จ่ายแบบท้องถิ่น

หากคุณใช้งานแบบท้องถิ่น ความเคยชินไม่กี่อย่างสามารถลดตัวเลขนี้ได้โดยไม่แตะต้องโมเดล

  • ทำให้เครื่องอยู่ในโหมดสลีป การเปลี่ยนจาก 60 W ตลอดทั้งวันเป็นโหมดสลีป 16 ชั่วโมงจาก 20 ชั่วโมงที่เครื่องว่าง จะประหยัดพลังงานได้ประมาณ 29 kWh ต่อเดือนในกรณีปานกลาง คิดเป็นประมาณ $4.32 ที่อัตรา $0.15
  • จำกัดกำลังไฟ GPU การ์ดจำนวนมากสูญเสียความเร็วในการสร้างเพียงเล็กน้อยเมื่อจำกัดกำลังไฟลดลง 20 ถึง 30 เปอร์เซ็นต์ ทดสอบการ์ดของคุณเองเนื่องจากผลลัพธ์แตกต่างกันไปตามโมเดลและไดรเวอร์
  • ใช้การควอนไทเซชันหรือโมเดลที่เล็กลงสำหรับงานทั่วไป ไบต์ต่อน้ำหนักที่น้อยลงหมายถึงการจราจรของหน่วยความจำที่น้อยลงและมักจะทำให้การสร้างข้อความเร็วขึ้น ซึ่งลดชั่วโมงที่การ์ดต้องทำงาน
  • ทำงานบนอัตราค่าไฟฟ้าตามช่วงเวลา หากผู้ให้บริการของคุณคิดค่าไฟถูกลงในเวลากลางคืน ให้กำหนดเวลาทำงานแบบแบทช์ในช่วงเวลานั้น

ตรวจสอบการประหยัดจากโหมดสลีป: 16 ชั่วโมง คูณ 0.06 kW ได้ 0.96 kWh ต่อวัน คูณ 30 ได้ 28.8 kWh คูณ $0.15 ได้ $4.32 สิ่งเหล่านี้ไม่เปลี่ยนลำดับขนาด ไฟฟ้าเป็นส่วนเล็กมากของยอดรวมเมื่อเทียบกับฮาร์ดแวร์เอง

ลองทดสอบ API ด้วยตัวเลขจริง

คุณสามารถตรวจสอบการประมาณการ API กับภาระงานของคุณเองได้อย่างประหยัด ผู้ใช้ใหม่สามารถรับเครดิตทดลองใช้ $0.50 ได้คลิกเดียวที่หน้า คีย์ API หลังจากสมัครสมาชิก ไม่ต้องใช้บัตร ใช้ได้ 7 วัน ส่งคำขอที่สมจริงไม่กี่คำ แล้วอ่านส่วนหัวของคำตอบ X-Balance-USD เพื่อดูว่าแต่ละคำขอมีค่าใช้จ่ายเท่าใด

curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'

เปรียบเทียบยอดคงเหลือก่อนและหลัง ขยายตามจำนวนคำขอที่คาดหวังของคุณ แล้วเปรียบเทียบกับประมาณการค่าไฟฟ้าของคุณ อัตราปัจจุบันและโบนัสการเติมเงินแสดงอยู่ที่หน้าราคา และรายละเอียดคำขออยู่ใน เอกสาร

ถาม-ตอบ

LLM แบบโลคอลใช้ไฟฟ้าเท่าไหร่?

เดสก์ท็อป GPU เดี่ยวทั่วไปใช้พลังงานหลักร้อยวัตต์ขณะสร้างและน้อยกว่า 100 W เมื่อสถานะว่าง วัดที่เต้ารับด้วยมิเตอร์แบบเสียบ แล้วคูณด้วยชั่วโมงและราคาต่อ kWh ของคุณ

โมเดลอยู่ในสถานะว่างส่วนใหญ่หรือไม่?

สำหรับการตั้งค่าส่วนบุคคลส่วนใหญ่ ใช่ การดึงพลังงานขณะสถานะว่างอาจสูงกว่าพลังงานขณะสร้างข้อความ ดังนั้นการตั้งค่าพีซีเข้าสู่โหมดสลีประหว่างเซสชันจะช่วยตัดค่าใช้จ่ายได้

LLM ในเครื่องถูกกว่า API หรือไม่?

เมื่อใช้งานเบาหรือปานกลาง โดยทั่วไปไม่ประหยัดเมื่อรวมพลังงาน และไม่ได้ประหยัดเลยเมื่อรวมฮาร์ดแวร์ เมื่อสร้างหลายชั่วโมงต่อวัน อาจประหยัดด้านพลังงานเพียงอย่างเดียว

ฉันสามารถทดสอบต้นทุน API โดยไม่ต้องจ่ายได้หรือไม่?

ได้ เครดิตทดลองใช้คลิกเดียว $0.50 ไม่ต้องใช้บัตร และส่วนหัวของยอดคงเหลือแสดงว่าแต่ละคำขอมีค่าใช้จ่ายเท่าใด

uncensoredlocalllm.com

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด