स्थानीय LLM बिजली लागत बनाम टोकन प्रति भुगतान
अपने खुद के GPU पर एक मॉडल चलाना मुफ़्त नहीं है: कार्ड जनरेट करते समय वास्तविक पावर खींचता है और पीसी आइडल रहते समय कुछ खींचता रहता है। इसे अनुमानित करने और कब एक पे-टोकन API सस्ता पड़ता है, यह यहाँ बताया गया है।


मुख्य बिंदु
- लगभग 30 टोकन प्रति सेकंड की गति से चलने वाले एकल-उपयोगकर्ता सेटअप में, हार्डवेयर के अलावा, प्रति 1M आउटपुट टोकन पर लगभग $0.63 बिजली का खर्च आता है।
- हल्के उपयोग पर API सस्ता है। भारी दैनिक उपयोग पर एक स्थानीय रैक पावर अकेले पर उसे हरा सकता है।
- आइडल ड्रॉ उससे अधिक मायने रखता है जितना लोग उम्मीद करते हैं जब पीसी पूरा दिन चालू रहता है।
- हार्डवेयर खरीदारी, न कि बिजली, आमतौर पर असली ब्रेक-ईव तय करती है।
संक्षिप्त उत्तर
स्थानीय LLM बिजली लागत तीन अंकों पर निर्भर करती है: आपकी मशीन जनरेशन के दौरान कितने वाट खींचती है, वह प्रतिदिन कितने घंटे जनरेट करती है, और आपकी यूटिलिटी प्रति किलोवाट-घंटे के लिए क्या शुल्क लेती है। एक सामान्य सिंगल-GPU डेस्कटॉप के लिए मासिक राशि कुछ डॉलर से लेकर कुछ दस डॉलर के बीच आती है। यह हार्डवेयर की कीमत की तुलना में छोटा है, लेकिन यह शून्य नहीं है, और यह टोकन के लिए भुगतान करने की तुलना में मायने रखने के लिए पर्याप्त बड़ा है।
नीचे दी गई गणना उन मान्यताओं का उपयोग करती है जिन्हें आप अपनी जरूरत के हिसाब से बदल सकते हैं। API पक्ष इस सेवा की वास्तविक कीमतों का उपयोग करता है: 1M इनपुट टोकन के लिए $0.15 और 1M आउटपुट टोकन के लिए $0.50।
सूत्र
बिजली ऊर्जा गुणा मूल्य है। किलोवाट-घंटों में ऊर्जा, किलोवाट में शक्ति गुणा घंटों के बराबर होती है।
monthly_kwh = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwhयदि आपके पास है, तो एक प्लग-इन पावर मीटर का उपयोग करें। यह दीवार पर संपूर्ण मशीन को मापता है, जिसे आप भुगतान करते हैं। स्पेक शीट से GPU की निर्दिष्ट बोर्ड पावर पढ़ने से केवल अधूरी जानकारी मिलती है, क्योंकि CPU, मेमोरी, ड्राइव, फैन और पावर सप्लाई की हानियाँ इसमें जुड़ जाती हैं।
उदाहरणों के लिए मैं मानता हूँ:
- 450 W दीवार पर जब मॉडल जनरेट कर रहा हो (लगभग 350 W रेटेड कार्ड और सिस्टम का शेष भाग)।
- 60 W जब पीसी चालू हो लेकिन आइडल हो।
- $0.15 प्रति kWh. यह एक मान्यता है। दरें देश और दिन के समय के अनुसार बहुत भिन्न होती हैं, इसलिए इसे अपने बिल पर दी गई संख्या से बदल दें।
- 30 टोकन प्रति सेकंड जनरेशन के लिए एक सिंगल यूजर के लिए। आपकी गति मॉडल, इसके क्वांटीज़ेशन और कार्ड पर निर्भर करती है।
तीन उपयोग स्तर, गणना किए गए
एक हल्के, एक मध्यम और एक भारी यूजर को लें। प्रत्येक मामले में मशीन दिन भर चालू रहती है, इसलिए आइडल घंटों को भी गिना जाता है।
| उपयोग | प्रति दिन जनरेशन | प्रति माह ऊर्जा | प्रति माह बिजली | प्रति माह आउटपुट टोकन |
|---|---|---|---|---|
| हल्का | 1 घंटा | 54.9 kWh | $8.24 | 3.24M |
| मध्यम | 4 घंटे | 90.0 kWh | $13.50 | 12.96M |
| भारी | 12 घंटे | 183.6 kWh | $27.54 | 38.88M |
यहाँ मध्यम उपयोग की पंक्ति चरण-दर-चरण दी गई है। जनरेटिंग: 4 घंटे × 0.45 kW = 1.8 kWh प्रति दिन। आइडल: 20 घंटे × 0.06 kW = 1.2 kWh प्रति दिन। कुल 3.0 kWh प्रति दिन, अर्थात 30 दिनों में 90 kWh, जो $0.15 प्रति kWh पर $13.50 बनता है। टोकन: 4 घंटे = 14,400 सेकंड, 30 टोकन प्रति सेकंड × 14,400 = 432,000 टोकन प्रति दिन, या 12.96M प्रति माह।
ध्यान दें कि हल्के उपयोगकर्ता को केवल 3.24M टोकन के लिए $8.24 चुकाने पड़ते हैं। आइडल पावर इस बिल का सबसे बड़ा हिस्सा है: 23 आइडल घंटे × 60 W = 1.38 kWh प्रति दिन, जो जनरेटिंग पर खर्च 0.45 kWh से दोगुना से भी अधिक है।
API के माध्यम से उसी टोकन की लागत क्या है
चैट उपयोग में प्राप्त करने की तुलना में अधिक टोकन भेजे जाते हैं, क्योंकि प्रत्येक अनुरोध में सिस्टम प्रॉम्प्ट और अब तक की बातचीत शामिल होती है। प्रत्येक आउटपुट टोकन के लिए तीन इनपुट टोकन मानें, जो इतिहास के साथ चैट के लिए एक संभावित अनुपात है। फिर $0.15 और $0.50 प्रति 1M पर मासिक बिल है:
| उपयोग | आउटपुट लागत | इनपुट लागत (आउटपुट टोकन का 3x) | API कुल | स्थानीय बिजली |
|---|---|---|---|---|
| हल्का | 3.24M × $0.50 = $1.62 | 9.72M × $0.15 = $1.46 | $3.08 | $8.24 |
| मध्यम | 12.96M × $0.50 = $6.48 | 38.88M × $0.15 = $5.83 | $12.31 | $13.50 |
| भारी | 38.88M × $0.50 = $19.44 | 116.64M × $0.15 = $17.50 | $36.94 | $27.54 |
दो बातें उभरकर सामने आती हैं। पहला, प्रतिदिन लगभग चार घंटे जनरेशन से नीचे, API की लागत स्थानीय बिजली की लागत से कम होती है। दूसरा, प्रतिदिन बारह घंटे पर स्थानीय रैक अधिक पावर-कुशल होता है, क्योंकि आइडल शेयर कम हो जाता है और आप उस सिलिकॉन का उपयोग कर रहे हैं जिसके लिए आपने पहले ही भुगतान किया है। API राशि में इनपुट प्रसंस्करण भी शामिल है, जिसे आपकी GPU मुफ्त में कैश शब्दों में करती है लेकिन फिर भी ऊर्जा खर्च करती है। प्रीफ़िल तेज़ है, इसलिए मैंने स्थानीय पक्ष से इसे छोड़ दिया; यह स्थानीय को थोड़ा अनुकूल बनाता है।
प्रति मिलियन टोकन बिजली लागत
तुलना करने का एक उपयोगी तरीका जनरेशन के दौरान ऊर्जा लागत प्रति 1M आउटपुट टोकन है। 450 W और 30 टोकन प्रति सेकंड पर, एक मिलियन टोकन में लगभग 33,333 सेकंड या 9.26 घंटे लगते हैं। यह 4.17 kWh है, और $0.15 प्रति kWh पर यह लगभग $0.63 है। API प्रति 1M आउटपुट टोकन पर $0.50 शुल्क लेता है, इनपुट अलग से $0.15 पर बिल किया जाता है।
अतः, GPU की लागत गिनने से पहले ही, 30 टोकन प्रति सेकंड की गति से जनरेट करने वाले एकल उपयोगकर्ता की प्रति आउटपुट टोकन पावर लागत API मूल्य से अधिक होती है। यह अंतर तभी कम होता है जब आपका हार्डवेयर तेज़ हो या आपकी बिजली सस्ती हो। 60 टोकन प्रति सेकंड पर समीकरण लगभग $0.31 देता है। $0.08 प्रति kWh और 30 टोकन प्रति सेकंड पर यह लगभग $0.33 देता है। इनमें से कोई भी बदलाव उत्तर को प्रभावित करता है, इसलिए अपनी गणना स्वयं करें।
बैचिंग अपवाद है। एक सर्वर जो एक साथ कई अनुरोध संभालता है, प्रति टोकन बहुत कम ऊर्जा खर्च करता है, इसलिए होस्टिंग प्रदाता कम मूल्य निर्धारित कर सकते हैं। एक व्यक्ति द्वारा उपयोग किए जाने वाले डेस्कटॉप में इससे दुर्लभ लाभ होता है।
सूत्र में क्या छोड़ दिया गया है
- हार्डवेयर। एक उपयोगी मॉडल चलाने वाला GPU ऊपर बताई गई एक साल की बिजली की लागत से कहीं अधिक महंगा होता है। इसके पूरे जीवनकाल पर इसे बांटने पर यह कुल लागत में आमतौर पर हावी होता है। एक LLM की लागत वाले पृष्ठ में खरीदारी के पहलू पर चर्चा की गई है।
- कूलिंग और शोर। गर्म जलवायु में 450 W से उत्पन्न ऊष्मा आपके एयर कंडीशनर पर भी लोड डालती है। सर्दियों में यह आंशिक रूप से उपयोगी हीटिंग भी है।
- बड़े मॉडल। एक ऐसा मॉडल जिसके लिए दो कार्डों की आवश्यकता होती है, उसका लोड आंकड़ा लगभग दोगुना कर देता है।
- आपका समय। ड्राइवर अपडेट करना, क्वांटाइजेशन चुनना और आउट-ऑफ-मेमोरी त्रुटियों को ठीक करना एक काम है जिसे API हटा देता है।
दूसरी ओर, एक लोकल मॉडल के लिए अतिरिक्त अनुरोध पर कोई लागत नहीं आती और यह ऑफ़लाइन काम करता है। यदि आप इसे प्रतिदिन कई घंटों तक चलाते हैं, तो यह मायने रखता है।
लोकल बिल कम करने के तरीके
यदि आप लोकल रहते हैं, तो कुछ आदतें मॉडल को छुए बिना भी लागत कम कर सकती हैं।
- मशीन को स्लीप मोड में जाएं। 20 आइडल घंटों में से 16 घंटों के लिए मशीन को स्लीप मोड में रखने से, जो 60 W आइडल ड्रॉ देती है, मध्यम मामले में महीने में लगभग 29 kWh बचते हैं, जो $0.15 की दर से लगभग $4.32 बनते हैं।
- GPU पावर लिमिट को कैप करें। कई कार्ड्स में पावर लिमिट को 20 से 30 प्रतिशत कम करने पर जनरेशन स्पीड में बहुत कम कमी आती है। अपने कार्ड का परीक्षण करें, क्योंकि परिणाम मॉडल और ड्राइवर के अनुसार भिन्न होते हैं।
- दैनिक कार्यों के लिए छोटे क्वांटाइजेशन या मॉडल का उपयोग करें। प्रति वेट कम बाइट्स का मतलब कम मेमोरी ट्राफ़िक और अक्सर तेज़ जनरेशन होता है, जिससे कार्ड व्यस्त रहने के घंटे कम हो जाते हैं।
- समय-आधारित टैरिफ़ पर चलाएं। यदि आपकी यूटिलिटी रात में कम चार्ज करती है, तो बैच जॉब्स को उन घंटों के लिए शेड्यूल करें।
स्लीप से बचत की जाँच करें: 16 घंटे × 0.06 kW = दिन में 0.96 kWh, × 30 = 28.8 kWh, × $0.15 = $4.32। हालाँकि, इससे महत्वपूर्ण अंतर में कोई बदलाव नहीं आता। हार्डवेयर के मुकाबले बिजली कुल लागत का एक छोटा हिस्सा ही रहती है।
वास्तविक आंकड़ों के साथ API साइड की जाँच
आप अपनी वर्कलोड के लिए API अनुमान की सस्ती जाँच कर सकते हैं। नए उपयोगकर्ता साइन-अप के बाद API कुंजी पेज पर एक क्लिक से $0.50 का मुफ़्त ट्रायल क्रेडिट क्लेम कर सकते हैं, बिना कार्ड के, जो 7 दिनों के लिए मान्य है। कुछ यथार्थवादी अनुरोध भेजें, फिर यह देखने के लिए कि वे कितने का खर्च आते हैं, X-Balance-USD रिस्पॉन्स हेडर पढ़ें।
curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'संतुलन की तुलना पहले और बाद में करें, अपने अपेक्षित अनुरोध गणना से स्केल करें, और इसे अपनी बिजली अनुमान से सेट करें। वर्तमान दरें और टॉप-अप बोनस मूल्य पृष्ठ पर सूचीबद्ध हैं, और अनुरोध विवरण दस्तावेज़ में हैं।
अधिक गाइड
प्रश्न और उत्तर
एक लोकल LLM कितनी बिजली का उपयोग करता है?
एकल-GPU डेस्कटॉप जनरेशन के दौरान कुछ सौ वाट खींचता है और आइडल पावर खपत 100 W से काफी कम होती है। वॉल पर प्लग-इन मीटर से मापें, फिर घंटों और आपकी प्रति kWh कीमत से गुणा करें।
क्या मॉडल अधिकांश समय आइडल रहता है?
अधिकांश व्यक्तिगत सेटअप्स के लिए, हाँ। आइडल ड्रॉ जनरेशन ऊर्जा से बड़ा हो सकता है, इसलिए सेशन के बीच पीसी को स्लीप मोड में डालने से बिल कम हो जाता है।
क्या लोकल LLM, API से सस्ता है?
हल्के या मध्यम उपयोग पर, बिजली को गिनने के बाद आमतौर पर नहीं, और हार्डवेयर को शामिल करने पर बिल्कुल नहीं। प्रतिदिन कई घंटों की जनरेशन पर यह केवल बिजली के मामले में आगे आ सकता है।
क्या मैं बिना पैसे दिए API लागत का परीक्षण कर सकता हूँ?
हाँ। $0.50 का वन-क्लिक ट्रायल क्रेडिट बिना कार्ड के है, और बैलेंस हेडर दिखाता है कि प्रत्येक अनुरोध का खर्च क्या था।
uncensoredlocalllm.com
आपकी कुंजी बस एक फॉर्म भरने की दूरी पर है
एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। यही पूरा सेटअप है।