HI ▾
API कुंजी पाएँ

uncensoredlocalllm.comमार्गदर्शिका

स्थानीय LLM हार्डवेयर लागत: जब API सस्ता है

एक उपयोग योग्य स्थानीय मॉडल के लिए मेमोरी में भरपूर क्षमता वाली GPU, एक अच्छी होस्ट मशीन और बिजली के बिल की आवश्यकता होती है। तीन वर्षों में फैलाते हुए, यह प्रति माह उस राशि से कहीं अधिक है जो अधिकांश लोग टोकन पर खर्च करते हैं।

अपडेट किया गया

स्थानीय LLM हार्डवेयर लागत बनाम API के बीच तुलना करते हुए टोकन के बादल के सामने कंप्यूटर हार्डवेयर का संतुलन दर्शाने वाला तौलना
स्थानीय GPU को होस्ट क्लाउड से जुड़े हुए आइसोमेट्रिक चित्रण, स्थानीय बनाम API कोडिंग मॉडल्स का प्रतिनिधित्व करते हुए

मुख्य बिंदु

  • GPU पर मेमोरी, कच्ची गति नहीं, यह तय करती है कि आप क्या चला सकते हैं और आपको क्या भुगतान करना है।
  • नीचे दिए गए उदाहरण बिल्ड के साथ, ब्रेक-ईवन मासिक में लगभग 232M टोकन या प्रतिदिन लगभग 18 घंटे की जनरेशन है।
  • कम और अचानक बढ़ने वाले वॉल्यूम पर API जीतता है; स्थानीय जीतता है निरंतर भारी उपयोग, गोपनीयता की आवश्यकताओं और ऑफ़लाइन कार्य के लिए।
  • यहाँ दी गई हर हार्डवेयर कीमत को एक अस्थायी मूल्य मानें और वर्तमान बाजार की जाँच करें।

मूल्य को क्या प्रभावित करता है

स्थानीय LLM हार्डवेयर लागत में मुख्य रूप से एक ही घटक होता है: ग्राफिक्स कार्ड, और विशेष रूप से उसमें कितनी वीडियो मेमोरी है। मॉडल वेट्स को VRAM में फिट होना चाहिए, या VRAM और सिस्टम RAM के धीमे मिश्रण में। वेट्स के लिए एक अनुमानित नियम है: पैरामीटर × प्रति वेट बिट्स ÷ 8। 8 अरब पैरामीटर वाले मॉडल को 4-बिट क्वांटाइजेशन के साथ लगभग 4 GB की आवश्यकता होती है। 70 अरब वाले मॉडल को 4-बिट पर लगभग 35 GB चाहिए। इसके अलावा आपको KV कैश के लिए जगह चाहिए, जो कॉन्टेक्स्ट लंबाई के साथ बढ़ता है, और कुछ ओवरहेड।

यही कारण है कि कीमत वक्र तेज है। 12 GB मेमोरी वाला कार्ड छोटे मॉडल चलाता है। 24 GB वाला कार्ड मध्यम आकार के मॉडल को आराम से चलाता है। इससे बड़ा कुछ भी दो कार्ड या वर्कस्टेशन हार्डवेयर का अर्थ है। गति क्षमता से कम महत्वपूर्ण है: एक धीमा कार्ड जो मॉडल में फिट बैठता है, एक तेज कार्ड से बेहतर है जो फिट नहीं बैठता।

एक बजट, एक मध्यम-श्रेणी और एक बड़ा बिल्ड

नीचे दी गई कीमतें अनुमानित मान हैं, न कि कोट। उपयोग की गई और नई कीमतें लगातार बदलती रहती हैं, इसलिए उन्हें अपनी वास्तविक खोज से बदल दें। मुख्य बात गणना के स्वरूप की है।

आइटमछोटा बिल्डमध्यम बिल्डबड़ा बिल्ड
GPU मेमोरी12 GB24 GB2 x 24 GB
GPU (अनुमानित)$350$800$1,600
CPU, बोर्ड, 32 से 64 GB RAM, SSD (अनुमानित)$500$600$900
पावर सप्लाई, केस, कूलिंग (अनुमानित)$150$100$200
कुल (अनुमानित)$1,000$1,500$2,700

यदि आपके पास पहले से एक उपयुक्त कार्ड वाला गेमिंग पीसी है, तो आपकी सीमांत हार्डवेयर लागत शून्य है और इस आलेख का शेष भाग स्थानीय समाधानों के पक्ष में काफी झुक जाता है। यदि आप नया खरीद रहे हैं, तो तालिका सत्य के करीब है।

खरीदारी को मासिक लागत में बदलें

निर्माण को एक यथार्थवादी जीवनकाल में फैलाएं और बिजली जोड़ें। 36 महीने में $1,500 के मध्यम निर्माण की लागत $41.67 प्रति माह है। एक मशीन के लिए बिजली जोड़ें जो दिन में लगभग चार घंटे जनरेट करती है: लोड पर 450 W, आइडल पर 60 W और $0.15 प्रति kWh पर यह $13.50 प्रति माह है। कुल: $55.17 प्रति माह।

निर्माणहार्डवेयर प्रति माह (36 महीने)प्रति माह पावर (4 घंटे/दिन)कुल प्रति माह
छोटा$27.78$13.50$41.28
मध्यम$41.67$13.50$55.17
बड़ा$75.00$23.40$98.40

बड़े बिल्ड की बिजली की राशि लोड के तहत 800 W और आइडल पर 100 W मानती है: 3.2 kWh प्लस 2.0 kWh प्रति दिन 5.2 kWh है, गुणा 30 से 156 kWh, गुणा $0.15 से $23.40।

प्रति-टोकन मूल्य निर्धारण के सापेक्ष ब्रेक-ईवन

अब उस मासिक राशि को टोकन में बदलें। मान लें कि चैट ट्रैफ़िक में प्रति आउटपुट टोकन तीन इनपुट टोकन हैं। एक मिलियन आउटपुट टोकन और तीन मिलियन इनपुट टोकन की लागत 1 x $0.50 + 3 x $0.15 = $0.95 चार मिलियन टोकन के लिए, प्रति 1M के लिए संयुक्त दर $0.2375 है। मध्यम सेटअप के लिए:

  • $55.17 को $0.2375 प्रति 1M से विभाजित करने पर ब्रेक-ईवन पर प्रति माह लगभग 232M टोकन मिलते हैं।
  • उसका एक चौथाई आउटपुट होता है: लगभग 58M आउटपुट टोकन।
  • प्रति सेकंड 30 टोकन की दर से, यदि एक मशीन 30 दिनों तक पूरी क्षमता से चले, तो वह लगभग 77.8M आउटपुट टोकन उत्पन्न करेगी (2.592M सेकंड गुणा 30)।

30 टोकन प्रति सेकंड की गति से 58M आउटपुट टोकन में 1.94M सेकंड लगते हैं, लगभग 538 घंटे, जो प्रति दिन 17.9 घंटे के जनरेशन के बराबर है। एक अकेला व्यक्ति प्रॉम्प्ट टाइप करके इतना नहीं कर सकता। एक बैच पाइपलाइन या कई उपयोगकर्ताओं वाली सेवा ऐसा कर सकती है।

जहाँ स्थानीय अभी भी उचित है

ब्रेक-ईवन बताता है कि API अधिकांश व्यक्तिगत उपयोगकर्ताओं के लिए सस्ता है। यह नहीं बताता कि स्थानीय विकल्प बेकार है। फिर भी हार्डवेयर खरीदने के कारण:

  • आपके पास कार्ड पहले से ही है। तब केवल बिजली मायने रखती है।
  • स्थिर लोड। एक पाइपलाइन जो पूरा दिन चलती है, जैसे कि बल्क वर्गीकरण, एक GPU को इतना व्यस्त रख सकती है कि ब्रेक-ईवन पार हो जाए।
  • ऑफ़लाइन या एयर-गैप्ड कार्य। कोई नेटवर्क नहीं, प्रति टोकन बिल नहीं, इमारत से बाहर कोई डेटा नहीं।
  • वेट के साथ प्रयोग। यदि आप क्वांटीज़ेशन बदलना चाहते हैं, मॉडल मर्ज करना चाहते हैं या अपने फाइन-ट्यून चलाते हैं, तो आपको फ़ाइलें अपने डिस्क पर चाहिए।

LLM उपयोग की सामान्य लागत का एक व्यापक दृष्टिकोण के लिए, एक LLM की लागत पेज पर जाएं। किराए पर लेने के कारण: बर्स्टी उपयोग, विभिन्न आकारों के साथ कई प्रयोग, बिना अधिक VRAM खरीदे लंबे कॉन्टेक्स्ट की आवश्यकता, और ड्राइवरों व इन्फरेंस सर्वरों को बनाए रखने की इच्छा न होना। यहाँ होस्टेड विकल्प में 100,000 टोकन की कॉन्टेक्स्ट विंडो है, जिसके लिए घर पर KV कैश के लिए बहुत अधिक मेमोरी की आवश्यकता होगी।

तीन लोग, तीन उत्तर

जब संख्याएं एक यथार्थवादी स्थिति से मेल खाती हैं, तो उन पर भरोसा करना आसान होता है। यहाँ तीन प्रोफ़ाइल दी गई हैं, जिनका मूल्य 1M टोकन के लिए $0.15 और $0.50 है, और इनपुट अनुपात तीन-से-एक है।

  • शौकीन दिन में एक-दो घंटे चैट करता है और कुल मिलाकर महीने में लगभग 10M टोकन भेजता है। 1M टोकन के लिए $0.2375 की ब्लेंडेड दर पर यह $2.38 बनता है। इसे छोटी बिल्ड के लिए $41.28 प्रति माह की तुलना में देखें। API लगभग सत्रह गुना सस्ता है।
  • विकासकर्ता एक एडिटर सहायक और टेस्ट स्क्रिप्ट चलाते हैं, प्रति माह लगभग 60M टोकन: API द्वारा $14.25। मध्यम बिल्ड की लागत प्रति माह $55.17 है, इसलिए API अभी भी एक बड़े अंतर से जीतता है जब तक कि कार्ड पहले से मालिकाना न हो।
  • बैच ऑपरेटर दस्तावेज़ों को वर्गीकृत करता है, दिन-रात, महीने में 400M टोकन: API द्वारा $95.00। $55.17 की मध्यम बिल्ड सस्ती है यदि वह वास्तव में उस मात्रा को प्रोसेस कर सकती है, लेकिन आउटपुट की 30 टोकन प्रति सेकंड की गति पर यह महीने में लगभग 77.8M आउटपुट टोकन तक सीमित हो जाती है, समान अनुपात के साथ कुल 311M टोकन। इसलिए ऑपरेटर को एक दूसरा कार्ड चाहिए या कम मात्रा स्वीकार करनी होगी, जिससे स्थानीय लागत बढ़ जाती है।

पैटर्न स्थिर है: API तब तक जीतता है जब तक उपयोग स्थिर और बड़ा नहीं होता, और स्थानीय क्षमता फिर बाधा बन जाती है। समानांतर अनुरोधों की संख्या में भी अंतर है। यहाँ एक पूर्ण कुंजी 8 समानांतर अनुरोधों की अनुमति देती है, जबकि एक अकेली डेस्कटॉप GPU आमतौर पर एक ही समय में एक अनुरोध को पूर्ण गति पर सेवा देती है।

कम खर्च करना, और बिल में क्या छूट जाता है

हार्डवेयर पर कम खर्च करने के तरीके

  • पुराना खरीदें। पिछली पीढ़ी के कार्ड जिनमें 24 GB मेमोरी है, अक्सर प्रति गिगाबाइट सबसे अच्छी वैल्यू देते हैं। विक्रेता की जाँच करें, और आने पर लोड के तहत कार्ड का परीक्षण करें।
  • लेयर ऑफलोड करें। llama.cpp जैसे इनफरेंस इंजन मॉडल के एक हिस्से को सिस्टम RAM में रख सकते हैं। यह चलता है, लेकिन धीमी गति से, इसलिए इसका उपयोग तभी करें जब गति मायने न रखती हो।
  • एक छोटा मॉडल चुनें। एक अच्छी तरह से ट्यून्ड 8B मॉडल 12 GB कार्ड पर कई दैनिक कार्यों को कवर करता है। केवल तभी आकार के लिए भुगतान करें जब किसी कार्य को उसकी आवश्यकता हो।
  • GPU समय घंटे के हिसाब से किराए पर लें। क्लाउड GPU किराये खरीद से बचते हैं, लेकिन इनकी अपनी घंटे की दरें होती हैं, इसलिए उनकी वर्तमान कीमतें जाँचें और प्रति टोकन बिलिंग की तुलना करें।

छुपी हुई लागतें जिन्हें लोग भूल जाते हैं

  • मूल्यह्रास। नई कार्ड आने के साथ GPUs की रीसेल वैल्यू कम हो जाती है। ऊपर दी गई 36 महीने की अवधि एक अनुमान है।
  • विफलता और प्रतिस्थापन। एक खराब पावर सप्लाई या फैन एक अप्रत्याशित बिल है।
  • अपग्रेड। नए ओपन-वेट मॉडल आकार में बड़े होते हैं। एक कार्ड जो आज के पसंदीदा मॉडल में फिट बैठता है, अगले साल के मॉडल में फिट नहीं हो सकता है।
  • समय। सेटअप, अपडेट और डिबगिंग में वास्तविक घंटे लगते हैं। यदि आप उनका कोई भी मूल्य निर्धारित करते हैं, तो उन्हें जोड़ें।
  • शोर और गर्मी। एक 450 W मशीन एक छोटे कमरे में सुनाई देती है और गर्म होती है।

इनमें से कोई भी रसीद पर नहीं दिखता, इसलिए एक रिग अक्सर लोगों के दिमाग में जितनी है उससे सस्ती लगती है।

अपना ब्रेक-इवन जाँचें

अपनी संख्याएं चुनें और इसे चलाएं। यह आपके सभी-सहित मासिक स्थानीय लागत लेता है और वह मासिक टोकन वॉल्यूम प्रिंट करता है जहाँ API इस सेवा की कीमतों पर इसे मिलाता है।

local_monthly = 55.17        # hardware per month + electricity
in_price, out_price = 0.15, 0.50   # dollars per 1M tokens
ratio = 3                    # input tokens per output token

blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")

यदि आपका वास्तविक वॉल्यूम उससे काफी कम है, तो API का उपयोग करें। अपने वॉल्यूम को मापने के लिए, API कुंजी पेज पर मुफ़्त ट्रायल क्रेडिट क्लेम करें, https://api.uncensoredlocalllm.com/v1 पर मॉडल uncensored के साथ अपने वास्तविक प्रॉम्प्ट चलाएं, और प्रत्येक प्रतिक्रिया में टोकन उपयोग पढ़ें। अनुरोध प्रारूप के लिए दस्तावेज़ देखें और टॉप-अप के लिए मूल्य निर्धारण पेज देखें।

प्रश्न और उत्तर

एक पीसी जो स्थानीय रूप से LLM चला सकता है, उसकी लागत कितनी है?

यह उस मॉडल के आकार पर निर्भर करता है जिसे आप चाहते हैं। इस आर्टिकल में प्लेसहोल्डर कीमतों के साथ, एक छोटा बिल्ड लगभग $1,000 और एक 24 GB कार्ड वाले मध्यम बिल्ड लगभग $1,500 है। योजना बनाने से पहले वर्तमान बाजार कीमतें जांचें।

क्या मुझे स्थानीय LLM चलाने के लिए GPU की आवश्यकता है?

नहीं, छोटे मॉडल पर्याप्त RAM के साथ CPU पर चलते हैं, लेकिन जनरेशन बहुत धीमी होती है। GPU जिसमें वजन के लिए पर्याप्त मेमोरी हो, वही इसे व्यावहारिक बनाता है।

कब स्थानीय LLM, API से सस्ता होता है?

जब मशीन दिन भर कई घंटों तक व्यस्त होती है, जब आप पहले से ही हार्डवेयर मालिक हैं, या जब आपको ऑफ़लाइन संचालन की आवश्यकता होती है। इस आर्टिकल में दी गई कीमतों पर, मध्यम बिल्ड की लागत-लाभ की स्थिति दिन में लगभग 18 जनरेशन घंटों पर आती है।

क्या मैं हार्डवेयर खरीदने से पहले API का उपयोग करके देख सकता हूँ?

हाँ। नए उपयोगकर्ता बिना कार्ड के $0.50 का मुफ़्त ट्रायल क्रेडिट दावा कर सकते हैं और गुणवत्ता व लागत देखने के लिए अपने असली प्रॉम्प्ट चला सकते हैं।

uncensoredlocalllm.com

आपकी कुंजी बस एक फॉर्म दूर है

एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।