LLM का खर्च कितना है? टोकन-प्रति गणना और उदाहरण

LLM के लिए भुगतान के तीन तरीके

यदि आप यह सोच रहे हैं कि LLM की लागत कितनी है, तो पहला कदम यह चुनना है कि आप किस प्रकार की लागत की बात कर रहे हैं। तीन प्रकार हैं, और उन्हें एक ही पैमाने पर रखे बिना तुलना नहीं की जा सकती।

मॉडल	आप भुगतान करते हैं	लागत का स्वरूप
होस्टेड API	भेजे और प्राप्त किए गए टोकन	निष्क्रिय होने पर शून्य, उपयोग के साथ बढ़ता है
चैट सदस्यता	चैट ऐप के लिए मासिक योजना	स्थिर शुल्क, अधिकांश मामलों में API एक्सेस नहीं
स्व-होस्टिंग	GPU, बिजली, सेटअप और रखरखाव	उच्च स्थिर लागत, अतिरिक्त अनुरोध के लिए कम लागत

यह लेख होस्टेड API मामले पर केंद्रित है, क्योंकि यह वह मामला है जहां आप उत्तर की गणना पहले से कर सकते हैं। अन्य विक्रेताओं के लिए, उनके वर्तमान मूल्य निर्धारण पृष्ठ देखें; मूल्य बदल जाते हैं और यहाँ दोहराए नहीं जाते हैं।

API लागत का सूत्र

हर अनुरोध में एक इनपुट पक्ष (आपका प्रॉम्प्ट, सिस्टम संदेश और कोई भी चैट इतिहास) और एक आउटपुट पक्ष (मॉडल द्वारा लिखा गया) होता है। दोनों को टोकन में गिना जाता है, और एक टोकन लगभग एक अंग्रेजी शब्द के तीन चौथाई होता है। लागत है:

लागत = (इनपुट टोकन / 1,000,000 x इनपुट मूल्य) + (आउटपुट टोकन / 1,000,000 x आउटपुट मूल्य)

इस सेवा पर, इनपुट की कीमत $0.15 प्रति 1M टोकन है और आउटपुट की कीमत $0.50 प्रति 1M टोकन है। आउटपुट इनपुट से तीन गुना से अधिक महंगा है, इसलिए एक लंबा उत्तर एक लंबे प्रश्न की तुलना में बहुत अधिक लागत वाला होता है।

यहाँ एक अनुरोध है जिसे हाथ से किया गया है। 1,000 टोकन का प्रॉम्प्ट और 500 टोकन की प्रतिक्रिया:

• इनपुट: 1,000 / 1,000,000 x $0.15 = $0.00015
• आउटपुट: 500 / 1,000,000 × $0.50 = $0.00025
• कुल: $0.0004

यह एक सेंट के सौवें हिस्से का चार गुना है। इसे स्केल करें: 1,000 ऐसे अनुरोधों की लागत $0.40 होती है, और 100,000 की लागत $40 होती है।

वास्तविक लोड के लिए कार्य उदाहरण

सहायता चैटबॉट

मान लीजिए कि महीने में 10,000 बातचीत होती हैं। प्रत्येक में कुल 3,000 इनपुट टोकन (सिस्टम प्रॉम्प्ट और टर्न्स के इतिहास सहित) भेजे जाते हैं और 800 आउटपुट टोकन प्राप्त होते हैं। इनपुट: 30M टोकन x $0.15 प्रति 1M = $4.50। आउटपुट: 8M टोकन x $0.50 प्रति 1M = $4.00। मासिक कुल: $8.50।

दस्तावेज़ों का सारांश

50,000-टोकन का दस्तावेज़ और 1,000-टोकन का सारांश। इनपुट: 0.05M x $0.15 = $0.0075। आउटपुट: 0.001M x $0.50 = $0.0005। यह प्रति दस्तावेज़ $0.008 है, इसलिए 1,000 दस्तावेज़ों की लागत $8.00 होगी। पूरे 100,000-टोकन की कॉन्टेक्स्ट विंडो को केवल इनपुट से भरने की लागत $0.015 होगी।

एक लंबा रोलप्ले या कंपैनियन सत्र

प्रॉम्प्ट 500 टोकन से शुरू होता है और हर टर्न पर 350 टोकन बढ़ता है, क्योंकि इतिहास को फिर से भेजा जाता है। 20 टर्न्स के दौरान मॉडल 76,500 इनपुट टोकन पढ़ता है और 5,000 आउटपुट टोकन लिखता है। इनपुट: 0.0765M x $0.15 = लगभग $0.0115। आउटपुट: 0.005M x $0.50 = $0.0025। पूरे सत्र के लिए लगभग $0.014।

एक बैच क्लासिफायर

प्रति आइटम 200 इनपुट टोकन और 10 आउटपुट टोकन, एक मिलियन आइटम। इनपुट: 200M x $0.15 प्रति 1M = $30। आउटपुट: 10M x $0.50 प्रति 1M = $5। कुल: $35। यहाँ मात्रा बड़ी है, लेकिन लागत अभी भी कम है क्योंकि आउटपुट नगण्य हैं।

तीन उपयोग स्तरों पर मासिक बजट

$0.0004 प्रति अनुरोध की दर से 1,000-इनपुट और 500-आउटपुट वाले अनुरोध का उपयोग करते हुए, यहाँ 30 दिनों के महीने की विभिन्न मात्राओं के लिए स्थिति इस प्रकार है।

उपयोग	प्रतिदिन अनुरोध	प्रतिमाह अनुरोध	मासिक लागत
शौकिया बॉट	1,000	30,000	$12
छोटा उत्पाद	10,000	300,000	$120
व्यस्त सेवा	100,000	3,000,000	$1,200

टेबल रैखिक रूप से स्केल होती है, इसलिए यदि आपका औसत अनुरोध दोगुना लंबा है, तो लागत दोगुनी करें। एक शौकिया बॉट न्यूनतम टॉप-अप में भी आसानी से फिट बैठता है: $20 इस आकार के 50,000 अनुरोधों के लिए पर्याप्त हैं, और क्रेडिट कभी समाप्त नहीं होता, इसलिए बचा हुआ बैलेंस बस प्रतीक्षा करता है।

बिल अनुमान से अधिक क्यों होता है

अनुमान भविष्यवाणी योग्य तरीकों से विफल होते हैं। यह तय करने से पहले कि कोई टूल महंगा है, इन बातों की जाँच करें।

• हर टर्न पर इतिहास फिर से भेजा जाता है। प्रत्येक नए संदेश में सभी पूर्व संदेश शामिल होते हैं। 50 टर्न्स की चैट 50 छोटे अनुरोध नहीं है; बाद वाले बड़े होते हैं। ऊपर दिए गए रोलप्ले उदाहरण में वृद्धि दिखाई गई है।
• विस्तृत आउटपुट। आउटपुट टोकन की लागत अधिक होती है। यदि आपको केवल एक लेबल या छोटा उत्तर चाहिए, तो प्रॉम्प्ट में बताएं और max_tokens सेट करें।
• आपके कोड में पुनर्प्रयास। एक लूप जो टाइमआउट के बाद अनुरोध को फिर से भेजता है, उससे खर्च दोगुना हो सकता है। ध्यान दें कि इस API पर विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है।
• बड़ा पेस्ट किया गया कॉन्टेक्स्ट। हर कॉल में 60,000-टोकन वाली फ़ाइल डालना आसान है और इसे भूल जाना भी आसान है।

लागत कम करने के तरीके

ज्यादातर बचत टोकन कम भेजने से आती है, सस्ता मॉडल ढूंढने से नहीं।

1. पुरानी चैट टर्न्स को काटें या सारांश बनाएं जब वे मायने रखना बंद कर दें।
2. स्थिर निर्देशों को हर यूज़र मैसेज में दोहराने के बजाय एक छोटे सिस्टम मैसेज में रखें।
3. स्ट्रक्चर्ड आउटपुट के लिए JSON मोड का उपयोग करें (response_format: {"type":"json_object"}) ताकि आप डेटा के आसपास के बातूनी टेक्स्ट के लिए भुगतान न करें।
4. stop सीक्वेंस का उपयोग करें जहां आपका पार्सर जनरेशन समाप्त करना चाहता है।
5. जब हर आइटम बहुत छोटा हो, तो छोटी वस्तुओं को एक ही अनुरोध में बैच करें।

आप प्रभाव को सीधे ट्रैक कर सकते हैं। हर रिस्पॉन्स में एक X-Balance-USD हेडर होता है, और स्ट्रीमिंग रिस्पॉन्स अंत में उपयोग की रिपोर्ट करते हैं। यह स्क्रिप्ट एक कॉल की लागत प्रिंट करती है:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllm.com/v1", api_key="YOUR_API_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain tokens in two sentences."}],
    max_tokens=150,
)
u = r.usage
cost = u.prompt_tokens / 1_000_000 * 0.15 + u.completion_tokens / 1_000_000 * 0.50
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

बिल्ड करने से पहले अपनी लागत का अनुमान लगाएं

कुछ टाइपिकल अनुरोधों पर अपने असली टोकन गिनें, फिर गुणा करें। एक छोटा फंक्शन किसी भी औसत साइज के लिए अंकगणित करता है।

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllm.com/v1", api_key="YOUR_API_KEY")

def monthly_cost(requests_per_month, avg_in, avg_out):
    return requests_per_month * (avg_in * 0.15 + avg_out * 0.50) / 1_000_000

print(monthly_cost(30_000, 1000, 500))    # 12.0
print(monthly_cost(10_000, 3000, 800))    # 8.5

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say hello."}],
    max_tokens=10,
)
print(r.usage.prompt_tokens, r.usage.completion_tokens)

ट्रायल के माध्यम से बीस टाइपिकल प्रॉम्प्ट्स चलाएं, usage नंबरों का औसत निकालें, और उन्हें फंक्शन में डालें। यह आपको आपके प्रोडक्ट पर आधारित एक फ़िगर देता है, न कि एक सामान्य उदाहरण पर।

सेल्फ-होस्टिंग: कब यह समझदारी है

एक ओपन-वेट मॉडल को खुद चलाने से प्रति-टोकन शुल्क हट जाता है, लेकिन यह इसे फिक्स्ड लागतों से बदल देता है: पर्याप्त मेमोरी वाला GPU, बिजली, सेटअप का समय और अपडेट। ये लागतें तब भी भुगतनी पड़ती हैं जब मशीन व्यस्त हो या आइडल हो। सेल्फ-होस्टिंग तब बेहतर होता है जब आपको स्थिर, हाई वॉल्यूम या हर चीज़ को अपनी मशीन पर रखने की कड़ी जरूरत हो। कभी-कभी के उपयोग, स्पाइकी ट्रैफ़िक या प्रोटोटाइप के लिए, प्रति टोकन भुगतान करना सरल और आमतौर पर सस्ता होता है, क्योंकि आइडल API की कोई लागत नहीं होती।

एक निष्पक्ष तुलना के लिए अपनी संख्याओं की जरूरत है: आपका मासिक टोकन वॉल्यूम, हार्डवेयर की कीमत और आपका समय कितना मूल्यवान है। API साइड के लिए ऊपर दिए गए फॉर्मूले का उपयोग करें, फिर हार्डवेयर साइड को असली कोट्स से प्राइस करें। यदि आप ओपन मॉडल चलाने की व्यापक तस्वीर चाहते हैं, तो बिना सेंसर LLM चैट गाइड इंटीग्रेशन विकल्पों को कवर करता है।

इस सेवा पर प्राइसिंग और टॉप-अप

बिलिंग प्रीपेड और पे-एज़-यू-गो है। आप $20 से $500 तक किसी भी पूर्ण राशि का टॉप-अप कर सकते हैं, और बड़े टॉप-अप पर बोनस मिलता है: $50 से +5%, $100 से +10% और $200 से +15%। $100 का टॉप-अप $110 के क्रेडिट में बदल जाता है। भुगतान क्रिप्टो में होता है: TRC20 पर USDT या Base पर USDC। क्रेडिट कभी समाप्त नहीं होता, और कोई सब्सक्रिप्शन नहीं है।

नए उपयोगकर्ता API कुंजी पृष्ठ पर एक क्लिक के साथ $0.50 का मुफ़्त ट्रायल क्रेडिट दावा कर सकते हैं। यह 7 दिनों के लिए मान्य है, भुगतान विवरण की आवश्यकता नहीं है, और यह एक व्यक्ति के लिए एक है। $0.0004 प्रति 1,000 इनपुट और 500 आउटपुट वाले अनुरोध पर, यह लगभग 1,250 अनुरोधों को कवर करता है, जो कुछ भी भुगतान करने से पहले अपनी औसत लागत को मापने के लिए पर्याप्त है। मूल्य निर्धारण पृष्ठ दरों की सूची बनाता है, और दस्तावेज़ अनुरोध प्रारूप दिखाते हैं।

अधिक गाइड

• Python कोडिंग के लिए सर्वोत्तम स्थानीय LLM: स्थानीय या होस्टेड API?
• बिना सेंसर LLM चैट: एकीकरण गाइड और उपयोग मामले