TH ▾
รับคีย์ API

uncensoredlocalllm.comคู่มือ

ต้นทุนฮาร์ดแวร์ LLM ในเครื่อง: เมื่อ API ถูกกว่า

โมเดลในเครื่องที่ใช้งานได้ต้องการ GPU ที่มีหน่วยความจำมาก เครื่องโฮสต์ที่ดี และค่าไฟ เมื่อเฉลี่ยสามปี ต้นทุนรายเดือนสูงกว่าที่คนส่วนใหญ่จ่ายสำหรับโทเคนมาก

อัปเดตเมื่อ

ภาพตราชั่งถ่วงน้ำหนักฮาร์ดแวร์ PC กับกลุ่มเมฆของโทเคน แสดงต้นทุนฮาร์ดแวร์ LLM ในเครื่องเทียบกับ API
ภาพประกอบไอโซเมตริกของ GPU ในเครื่องที่เชื่อมต่อกับคลาวด์ แสดงโมเดลการเขียนโปรแกรมแบบในเครื่องเทียบกับ API

ประเด็นสำคัญ

  • หน่วยความจำบน GPU ไม่ใช่ความเร็วดิบ คือสิ่งที่กำหนดว่าคุณจะรันอะไรได้และต้องจ่ายเท่าไหร่
  • ด้วยชุดประกอบด้านล่าง จุดคุ้มทุนคือประมาณ 232M โทเคนต่อเดือน หรือประมาณ 18 ชั่วโมงของการสร้างทุกวัน
  • API ชนะที่ปริมาณต่ำและแบบพุ่งสูง; ในเครื่องชนะสำหรับการใช้งานหนักต่อเนื่อง ความต้องการความเป็นส่วนตัว และการทำงานออฟไลน์
  • ให้ถือว่าราคาฮาร์ดแวร์ทั้งหมดในนี้เป็นเพียงราคาสมมติและตรวจสอบราคาตลาดปัจจุบัน

สิ่งที่ขับเคลื่อนราคา

ต้นทุนฮาร์ดแวร์ LLM ในเครื่อง ส่วนใหญ่มาจากองค์ประกอบเดียวคือ การ์ดจอ โดยเฉพาะปริมาณวิดีโอเมมโมรี โมเดลต้องโหลดเข้าไปใน VRAM หรือผสมกับ RAM ของระบบที่ช้ากว่า กฎโดยประมาณสำหรับน้ำหนักโมเดลคือ พารามิเตอร์คูณด้วยบิตต่อน้ำหนักแล้วหารด้วยแปด โมเดลที่มีพารามิเตอร์ 8 พันล้านตัวที่ควอนไทซ์แบบ 4-bit ต้องการพื้นที่ประมาณ 4 GB โมเดลขนาด 70 พันล้านตัวที่ 4-bit ต้องการประมาณ 35 GB นอกจากนี้คุณยังต้องมีพื้นที่สำหรับ KV cache ซึ่งขยายตามความยาวของบริบท และส่วนเกินเล็กน้อย

นั่นคือสาเหตุที่เส้นราคาชัน การ์ดที่มีหน่วยความจำ 12 GB รันโมเดลขนาดเล็กได้ การ์ด 24 GB รันโมเดลขนาดกลางได้อย่างสบาย โมเดลที่ใหญ่กว่านั้นหมายถึงต้องใช้การ์ดสองตัวหรือฮาร์ดแวร์เวิร์กสเตชัน ความเร็วสำคัญน้อยกว่าความจุ: การ์ดที่ช้าแต่รันโมเดลได้ ดีกว่าการ์ดที่เร็วแต่รันโมเดลไม่ได้

การตั้งค่าแบบประหยัด แบบระดับกลาง และแบบใหญ่

ราคาด้านล่างเป็นสมมติฐานเชิงตัวอย่าง ไม่ใช่ใบเสนอราคา ราคาของมือสองและใหม่เปลี่ยนแปลงตลอดเวลา ดังนั้นให้แทนที่ด้วยราคาที่คุณพบได้จริง จุดสำคัญคือรูปแบบของการคำนวณ

รายการการประกอบขนาดเล็กการประกอบขนาดกลางการประกอบขนาดใหญ่
หน่วยความจำ GPU12 GB24 GB2 x 24 GB
GPU (ประมาณการ)$350$800$1,600
CPU, เมนบอร์ด, แรม 32 ถึง 64 GB, SSD (ประมาณการ)$500$600$900
พาวเวอร์ซัพพลาย, เคส, ระบบระบายความร้อน (ประมาณการ)$150$100$200
รวม (ประมาณการ)$1,000$1,500$2,700

หากคุณมีพีซีเกมมิ่งที่มีการ์ดที่เหมาะสมอยู่แล้ว ต้นทุนฮาร์ดแวร์ส่วนเพิ่มของคุณคือศูนย์ และส่วนที่เหลือของบทความนี้จะเอื้อต่อโมเดลท้องถิ่นมากขึ้น หากคุณซื้อใหม่ ตารางด้านล่างจะใกล้เคียงความจริงมากกว่า

เปลี่ยนการซื้อเป็นค่าใช้จ่ายรายเดือน

กระจายต้นทุนการประกอบเครื่องตลอดอายุการใช้งานที่สมจริง แล้วเพิ่มค่าไฟฟ้า การประกอบระดับกลางราคา $1,500 กระจายตลอด 36 เดือนคิดเป็น $41.67 ต่อเดือน เพิ่มค่าไฟฟ้าสำหรับเครื่องที่ใช้งานประมาณสี่ชั่วโมงต่อวัน ใช้ไฟ 450 W เมื่อทำงานหนัก 60 W เมื่อพัก และค่าไฟ $0.15 ต่อ kWh คิดเป็น $13.50 ต่อเดือน รวมทั้งหมด: $55.17 ต่อเดือน

การประกอบฮาร์ดแวร์ต่อเดือน (36 เดือน)พลังงานต่อเดือน (4 ชม./วัน)รวมต่อเดือน
ขนาดเล็ก$27.78$13.50$41.28
ระดับกลาง$41.67$13.50$55.17
ขนาดใหญ่$75.00$23.40$98.40

ตัวเลขพลังงานของการประกอบขนาดใหญ่สมมติว่าใช้ 800 W เมื่อโหลดสูงสุดและ 100 W เมื่อพัก: 3.2 kWh บวก 2.0 kWh ต่อวันเท่ากับ 5.2 kWh คูณ 30 เท่ากับ 156 kWh คูณ $0.15 เท่ากับ $23.40.

จุดคุ้มทุนเมื่อเทียบกับราคาต่อโทเคน

แปลงตัวเลขรายเดือนนั้นเป็นโทเคน สมมติว่าการสนทนาแชทมีอินพุต 3 โทเคนต่อหนึ่งเอาท์พุตโทเคน การเอาท์พุตหนึ่งล้านโทเคนบวกอินพุตสามล้านโทเคนคิดค่าใช้จ่าย 1 x $0.50 + 3 x $0.15 = $0.95 สำหรับสี่ล้านโทเคน หรือเฉลี่ย $0.2375 ต่อ 1M สำหรับการประกอบระดับกลาง:

  • $55.17 หารด้วย $0.2375 ต่อ 1M เท่ากับประมาณ 232M โทเคนต่อเดือนที่จุดคุ้มทุน
  • หนึ่งในสี่ของจำนวนนั้นคือเอาต์พุต: ประมาณ 58M โทเคนเอาต์พุต
  • ที่ความเร็ว 30 โทเคนต่อวินาที เครื่องหนึ่งเครื่องจะผลิตโทเคนเอาต์พุตได้ประมาณ 77.8M โทเคนหากทำงานเต็มกำลังเป็นเวลา 30 วัน (2.592 ล้านวินาที คูณ 30)

การเอาท์พุต 58 ล้านโทเคนที่ความเร็ว 30 โทเคนต่อวินาที ใช้เวลา 1.94 ล้านวินาที หรือประมาณ 538 ชั่วโมง ซึ่งคือ 17.9 ชั่วโมงของการสร้างข้อความทุกวัน คนเดียวพิมพ์พรอมต์ไม่ทำขนาดนั้น แต่ระบบแบทช์หรือบริการที่มีผู้ใช้หลายคนอาจทำได้

เมื่อการรันในเครื่องยังสมเหตุสมผล

จุดคุ้มทุนบอกว่า API มีราคาต่ำกว่าสำหรับผู้ใช้ส่วนใหญ่ ไม่ได้หมายความว่าการทำงานในเครื่องไร้ประโยชน์ เหตุผลในการซื้อฮาร์ดแวร์อยู่ดี:

  • คุณเป็นเจ้าของการ์ดอยู่แล้ว จากนั้นมีเพียงค่าไฟฟ้าเท่านั้นที่สำคัญ
  • โหลดคงที่ ระบบที่ทำงานตลอดวัน เช่น การจัดประเภทจำนวนมาก สามารถทำให้ GPU ทำงานหนักพอที่จะผ่านจุดคุ้มทุนได้
  • งานออฟไลน์หรือแบบแยกเครือข่าย ไม่มีเครือข่าย ไม่มีบิลต่อโทเคน ไม่มีข้อมูลออกนอกอาคาร
  • การทดลองกับน้ำหนักโมเดล หากคุณต้องการเปลี่ยนการบีบอัด รวมโมเดล หรือรันการปรับแต่งเฉพาะของคุณ คุณต้องมีไฟล์บนดิสก์ของคุณ

เพื่อดูภาพรวมของค่าใช้จ่ายในการใช้งาน LLM โดยรวม โปรดดูหน้า ต้นทุน LLM โดยรวม เหตุผลที่ควรเช่าแทน: การใช้งานแบบพุ่งสูง, การทดลองหลายครั้งกับโมเดลขนาดต่างๆ, ความต้องการหน้าต่างบริบทที่ยาวโดยไม่จำเป็นต้องซื้อ VRAM เพิ่ม, และการไม่อยากดูแลไดรเวอร์กับเซิร์ฟเวอร์อนุมาน ทางเลือกแบบโฮสต์ที่นี่มีหน้าต่างบริบท 100,000 โทเคน ซึ่งต้องใช้หน่วยความจำจำนวนมากสำหรับ KV cache ในเครื่องของคุณ

สามคน สามคำตอบ

ตัวเลขเชื่อถือได้ง่ายขึ้นเมื่อตรงกับสถานการณ์จริง นี่คือโปรไฟล์สามแบบ ซึ่งกำหนดราคาที่ $0.15 และ $0.50 ต่อ 1M โทเคนด้วยอัตราอินพุตสามต่อหนึ่ง

  • ผู้ใช้งานทั่วไป แชทวันละหนึ่งถึงสองชั่วโมง และส่งโทเคนรวมประมาณ 10 ล้านโทเคนต่อเดือน ที่อัตราเฉลี่ย $0.2375 ต่อ 1M คิดเป็น $2.38 เมื่อเทียบกับ $41.28 ต่อเดือนสำหรับการประกอบระดับเล็ก API ถูกกว่าประมาณสิบเจ็ดเท่า
  • นักพัฒนา ใช้ editor assistant และสคริปต์ทดสอบ ประมาณ 60M โทเคนต่อเดือน: $14.25 ผ่าน API build ขนาดกลางมีค่าใช้จ่าย $55.17 ต่อเดือน ดังนั้น API ยังคงชนะอย่างชัดเจน เว้นแต่การ์ดจะซื้อมาอยู่แล้ว
  • ตัวดำเนินการแบบแบทช์ จัดหมวดหมู่เอกสารตลอด 24 ชั่วโมง 400 ล้านโทเคนต่อเดือน: $95.00 ผ่าน API การสร้างแบบกึ่งกลางที่ $55.17 จะถูกกว่าหากสามารถประมวลผลปริมาณนั้นได้จริง แต่ที่ความเร็ว 30 โทเคนต่อวินาทีของเอาต์พุต จะจำกัดอยู่ที่ประมาณ 77.8 ล้านโทเคนเอาต์พุตต่อเดือน หรือประมาณ 311 ล้านโทเคนรวมกับอัตราส่วนเดียวกัน ดังนั้นตัวดำเนินการจึงต้องการการ์ดที่สองหรือต้องยอมรับปริมาณที่ลดลง ซึ่งทำให้ต้นทุนในท้องถิ่นสูงขึ้น

รูปแบบนี้สอดคล้องกัน: API ชนะจนกว่าการใช้งานจะคงที่และปริมาณมาก จากนั้นความจุในเครื่องจึงกลายเป็นคอขวด ความพร้อมใช้งานพร้อมกันก็แตกต่างกันด้วย คีย์เต็มที่นี่อนุญาตให้ทำคำขอพร้อมกัน 8 คำขอ ในขณะที่ GPU เดสก์ท็อปเครื่องเดียวมักให้บริการคำขอเพียงคำขอเดียวต่อครั้งด้วยความเร็วเต็ม

ใช้จ่ายน้อยลง และสิ่งที่ใบเสร็จไม่แสดง

วิธีลดค่าใช้จ่ายด้านฮาร์ดแวร์

  • ซื้อมือสอง การ์ดจากรุ่นก่อนที่มีหน่วยความจำ 24 GB มักให้มูลค่าต่อเกกะไบต์ที่ดีที่สุด ตรวจสอบผู้ขาย และทดสอบการ์ดภายใต้ภาระงานเมื่อได้รับสินค้า
  • โอนโหลดชั้นโมเดล เครื่องมืออนุมานเช่น llama.cpp สามารถเก็บส่วนหนึ่งของโมเดลไว้ใน RAM ของระบบได้ โมเดลจะทำงานแต่ช้าลง ดังนั้นควรใช้วิธีนี้เฉพาะเมื่อความเร็วไม่ใช่ปัจจัยสำคัญ
  • เลือกโมเดลขนาดเล็กกว่า โมเดล 8B ที่ผ่านการปรับแต่งมาอย่างดีบนการ์ด 12 GB ครอบคลุมงานประจำวันจำนวนมากได้ จ่ายเฉพาะขนาดเมื่อจำเป็นสำหรับงานนั้นๆ
  • เช่าเวลา GPU เป็นชั่วโมง การเช่า GPU ผ่านคลาวด์หลีกเลี่ยงการซื้อแต่มีอัตราค่าเช่าต่อชั่วโมงของตัวเอง ดังนั้นควรตรวจสอบราคาปัจจุบันและเปรียบเทียบกับระบบคิดเงินต่อโทเคน

ต้นทุนซ่อนเร้นที่ผู้คนมักลืม

  • การเสื่อมราคา GPU สูญเสียมูลค่าขายต่อเมื่อการ์ดรุ่นใหม่ออกสู่ตลาด อายุการใช้งาน 36 เดือนข้างต้นเป็นการประมาณการ
  • ความล้มเหลวและการเปลี่ยนใหม่ แหล่งจ่ายไฟหรือพัดลมที่เสียเป็นค่าใช้จ่ายที่ไม่คาดคิด
  • การอัปเกรด โมเดลแบบเปิดน้ำหนักใหม่ๆ มีแนวโน้มที่จะมีขนาดใหญ่ขึ้น การ์ดที่รองรับโมเดลยอดนิยมในปัจจุบันอาจไม่รองรับโมเดลของปีหน้า
  • เวลา การติดตั้ง อัปเดต และการแก้ไขข้อผิดพลาดใช้เวลาจริง หากมีค่าเวลาเหล่านี้ ควรเพิ่มเข้าไป
  • เสียงและความร้อน เครื่องจักร 450 วัตต์ในห้องเล็กมีเสียงและมีความร้อน

สิ่งเหล่านี้ไม่ปรากฏในใบเสร็จ ซึ่งทำให้ชุดคอมพิวเตอร์ดูถูกกว่าความเป็นจริงในความคิดของคน

ตรวจสอบจุดคุ้มทุนของคุณเอง

เลือกตัวเลขของคุณแล้วรันสิ่งนี้ มันนำต้นทุนรวมรายเดือนแบบโลคัลของคุณมาและพิมพ์ปริมาณโทเคนรายเดือนที่ API จะเทียบเท่าได้ ที่ราคาของบริการนี้

local_monthly = 55.17        # hardware per month + electricity
in_price, out_price = 0.15, 0.50   # dollars per 1M tokens
ratio = 3                    # input tokens per output token

blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")

หากปริมาณการใช้งานจริงของคุณต่ำกว่านั้นมาก ให้ใช้ API เพื่อวัดปริมาณของคุณ ให้ขอเครดิตทดลองใช้บน หน้าคีย์ API รันพรอมต์จริงของคุณกับ https://api.uncensoredlocalllm.com/v1 โดยใช้โมเดล uncensored และอ่านการใช้งานโทเคนในแต่ละการตอบกลับ ดู เอกสาร สำหรับรูปแบบคำขอ และ หน้าราคา สำหรับการเติมเงิน

ถาม-ตอบ

PC ที่สามารถรัน LLM ในเครื่องได้มีราคาเท่าไหร่?

ขึ้นอยู่กับขนาดโมเดลที่คุณต้องการ ด้วยราคาสมมติในบทความนี้ การประกอบระดับเล็กมีราคาประมาณ $1,000 และการประกอบระดับกลางพร้อมการ์ด 24 GB ราคาประมาณ $1,500 ตรวจสอบราคาตลาดปัจจุบันก่อนวางแผน

ฉันต้องการ GPU เพื่อรัน LLM ในเครื่องหรือไม่?

ไม่ โมเดลขนาดเล็กทำงานบน CPU ที่มี RAM เพียงพอ แต่การสร้างข้อความจะช้ากว่ามาก GPU ที่มีหน่วยความจำเพียงพอสำหรับน้ำหนักโมเดลคือสิ่งที่ทำให้การใช้งานเป็นไปได้จริง

เมื่อไหร่ที่ LLM ในเครื่องถูกกว่า API?

เมื่อเครื่องยุ่งมากหลายชั่วโมงต่อวัน เมื่อคุณมีฮาร์ดแวร์อยู่แล้ว หรือเมื่อคุณต้องการการทำงานแบบออฟไลน์ ที่ราคาในบทความนี้ การประกอบระดับกลางจะคุ้มทุนใกล้กับ 18 ชั่วโมงในการสร้างข้อความต่อวัน

ฉันสามารถลอง API ก่อนซื้อฮาร์ดแวร์ได้หรือไม่?

ใช่ ผู้ใช้ใหม่สามารถขอเครดิตทดลองใช้ $0.50 ได้โดยไม่ต้องใช้บัตร และรันพรอมต์จริงของพวกเขาเพื่อดูคุณภาพและต้นทุน

uncensoredlocalllm.com

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด