Bir LLM'in Maliyeti Nedir? Token Başına Hesap ve Örnekler

Bir LLM için ödeme yapmanın üç yolu

Bir LLM'in maliyeti ne kadar diye merak ediyorsanız, ilk adım hangi maliyet türünden bahsettiğinizi seçmektir. Üç tür vardır ve bunlar aynı ölçekte olmadıkça karşılaştırılamaz.

Model	Ödediğiniz şey	Maliyet yapısı
Barındırılan API	Gönderilen ve alınan tokenlar	Boşta sıfır, kullanımla artar
Sohbet aboneliği	Bir sohbet uygulaması için aylık plan	Düz ücret, çoğu durumda API erişimi yok
Kendi sunucunuzda barındırma	GPU, elektrik, kurulum ve bakım	Yüksek sabit maliyet, ek istek başına düşük maliyet

Bu makale, cevabı önceden hesaplayabildiğiniz barındırılan API durumuna odaklanır. Diğer satıcılar için mevcut fiyatlandırma sayfalarını kontrol edin; fiyatlar değişir ve burada tekrar edilmez.

API maliyeti için formül

Her istek bir giriş tarafı (sizin isteminiz, sistem mesajı ve tüm sohbet geçmişi) ve bir çıkış tarafı (modelin ürettiği metin) içerir. Her ikisi de token olarak sayılır ve bir token yaklaşık olarak İngilizce bir kelimenin dörtte üçünü oluşturur. Maliyet:

maliyet = (giriş tokenları / 1.000.000 x giriş fiyatı) + (çıkış tokenları / 1.000.000 x çıkış fiyatı)

Bu hizmette giriş fiyatı 1M token başına $0,15 ve çıkış fiyatı 1M token başına $0,50'dir. Çıkış, girişten üç kattan biraz daha pahalıdır, bu nedenle uzun bir yanıt, uzun bir sorudan çok daha pahalıdır.

İşte elle yapılan bir istek. 1.000 tokenlık bir istem ve 500 tokenlık bir yanıt:

• Girdi: 1.000 / 1.000.000 x $0,15 = $0,00015
• Çıktı: 500 / 1.000.000 x $0,50 = $0,00025
• Toplam: $0,0004

Bu, bir sentin yüzde dördüne eşittir. Ölçeklendirin: 1.000 böyle istek $0,40'a mal olur, 100.000 istek ise $40'a mal olur.

Gerçek iş yükleri için çalışılmış örnekler

Bir destek sohbet robotu

Ayda 10.000 konuşma olduğunu varsayın. Her biri toplamda 3.000 giriş tokenı (adımlar boyunca sistem istemi ve geçmişi) gönderir ve 800 çıkış tokenı alır. Giriş: 30M token x 1M başına $0,15 = $4,50. Çıkış: 8M token x 1M başına $0,50 = $4,00. Aylık toplam: $8,50.

Belgeleri özetleme

50.000 tokenlık bir belge ve 1.000 tokenlık bir özet. Giriş: 0,05M x $0,15 = $0,0075. Çıkış: 0,001M x $0,50 = $0,0005. Bu belge başına $0,008 eder, bu nedenle 1.000 belge $8,00 eder. Sadece girişi 100.000 tokenlık bağlam penceresinin tamamını doldurmak $0,015 tutarındadır.

Uzun bir rol yapma veya arkadaşlık oturumu

İstem 500 token ile başlar ve her adımda 350 token artar, çünkü geçmiş yeniden gönderilir. 20 adım boyunca model 76.500 giriş tokenı okur ve 5.000 çıkış tokenı yazar. Giriş: 0,0765M x $0,15 = yaklaşık $0,0115. Çıkış: 0,005M x $0,50 = $0,0025. Tüm oturum için yaklaşık $0,014.

Bir toplu sınıflandırıcı

Öğe başına 200 giriş tokenı ve 10 çıkış tokenı, bir milyon öğe. Giriş: 200M x $0,15 / 1M = $30. Çıkış: 10M x $0,50 / 1M = $5. Toplam: $35. Burada hacim büyüktür ancak çıktılar çok küçük olduğu için maliyet hâlâ düşüktür.

Üç kullanım seviyesinde aylık bütçe

Adet başına $0,0004 olan 1.000 giriş, 500 çıkışlı isteği kullanarak, farklı hacimlerde 30 günlük bir ayın nasıl göründüğü aşağıdadır.

Kullanım	Günlük istek sayısı	Aylık istek sayısı	Aylık maliyet
Hobi botu	1.000	30.000	$12
Küçük ürün	10.000	300.000	$120
Yoğun hizmet	100.000	3.000.000	$1.200

Tablo doğrusal olarak ölçeklenir; ortalama istek iki katı uzunluktaysa maliyet iki katına çıkar. Bir hobi botu için minimum bakiye yükleme miktarı da yeterlidir: $20 ile bu boyuttaki 50.000 istek karşılanabilir ve kredi süresi dolmaz, bu nedenle kullanılmayan bakiye bekler.

Faturanın tahminden yüksek çıkmasının nedenleri

Tahminler öngörülebilir şekillerde başarısız olur. Bir aracın pahalı olduğunu düşünmeden önce şunları kontrol edin.

• Her adımda geçmiş mesajlar yeniden gönderilir. Her yeni mesaj, önceki tüm mesajları beraberinde taşır. 50 adımlı bir sohbet, 50 küçük istek değildir; son adımlardaki istekler büyüktür. Yukarıdaki rol yapma örneği bu büyümeyi göstermektedir.
• Ayrıntılı çıktılar. Çıktı tokenları daha fazla maliyet yaratır. Sadece bir etiket veya kısa bir yanıt gerekiyorsa, bunu istemde belirtin ve max_tokens ayarını yapın.
• Kendi kodunuzda yeniden denemeler. Bir zaman aşımından sonra bir istek yeniden gönderen bir döngü, harcamayı iki katına çıkarabilir. Bu API'de başarısız veya reddedilen istekler için ücret alınmadığını unutmayın.
• Büyük yapıştırılmış bağlam. 60.000 tokenlık bir dosyayı her çağrıda kullanmak kolaydır ve kolayca unutulur.

Maliyeti düşürme yolları

Tasarrufun çoğu daha ucuz bir model bulmaktan değil, daha az token göndermekten gelir.

1. Önemsizleşen eski sohbet adımlarını kısaltın veya özetleyin.
2. Sabit talimatları her kullanıcı mesajında tekrarlamak yerine, tek bir kısa sistem mesajına yerleştirin.
3. Verilerin etrafındaki konuşkan metinler için ödeme yapmamak için JSON modu (response_format: {"type":"json_object"}) ile yapılandırılmış çıktı isteyin.
4. Üretimi ayrıştırıcınızın ihtiyaç duyduğu yerde sonlandırmak için stop dizilerini kullanın.
5. Her bir öğe çok küçükse, küçük öğeleri tek bir istekte birleştirin.

Etkiyi doğrudan izleyebilirsiniz. Her yanıt bir X-Balance-USD başlığı içerir ve akış yanıtları kullanımı sona erdiğinde bildirir. Bu betik bir çağrının maliyetini yazdırır:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllm.com/v1", api_key="YOUR_API_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain tokens in two sentences."}],
    max_tokens=150,
)
u = r.usage
cost = u.prompt_tokens / 1_000_000 * 0.15 + u.completion_tokens / 1_000_000 * 0.50
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

Kendi maliyetinizi kurulumdan önce tahmin edin

Gerçek token sayınızı tipik birkaç istekte hesaplayın, ardından çarpın. Kısa bir fonksiyon, herhangi bir ortalama boyut için aritmetiği yapar.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllm.com/v1", api_key="YOUR_API_KEY")

def monthly_cost(requests_per_month, avg_in, avg_out):
    return requests_per_month * (avg_in * 0.15 + avg_out * 0.50) / 1_000_000

print(monthly_cost(30_000, 1000, 500))    # 12.0
print(monthly_cost(10_000, 3000, 800))    # 8.5

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say hello."}],
    max_tokens=10,
)
print(r.usage.prompt_tokens, r.usage.completion_tokens)

Yirmi tipik istemi deneme süresi üzerinden çalıştırın, usage sayılarını ortalamaya alın ve bunları fonksiyona yerleştirin. Bu, size özel ürününüze dayalı ve genel bir örneğe dayanmayan bir rakam verir.

Kendi kendine barındırma: ne zaman mantıklıdır

Açık ağırlıklı bir modeli kendi başınıza çalıştırmak token başına ücreti kaldırır, ancak bunu sabit maliyetlerle değiştirir: yeterli belleğe sahip bir GPU, elektrik, kurulum süresi ve güncellemeler. Bu maliyetler makine meşgul olsa da olmasa da ödenir. Kendi kendine barındırma, istikrarlı ve yüksek hacim veya her şeyi kendi makinenizde tutma ihtiyacı olduğunda genellikle daha avantajlıdır. Aralıklı kullanım, dalgalı trafik veya bir prototip için token başına ödeme yapmak daha basittir ve genellikle daha ucuzdur, çünkü bir API boşta olduğunda hiçbir maliyet yaratmaz.

Adil bir karşılaştırma kendi sayılarınızı gerektirir: aylık token hacminiz, donanım fiyatı ve vaktinizin değeri. API tarafı için yukarıdaki formülleri kullanın, ardından donanım tarafını gerçek tekliflerden fiyatlandırın. Açık modelleri çalıştırmanın daha geniş resmini görmek isterseniz, sansürsüz LLM sohbet kılavuzu entegrasyon seçeneklerini kapsar.

Bu hizmette fiyatlandırma ve bakiye yükleme

Faturalandırma ön ödemeli ve kullandıkça ödemelidir. $20 ile $500 arasında herhangi bir tam tutarı bakiye yükleyebilirsiniz ve daha büyük yüklemeler bonus ekler: $50'den itibaren +%5, $100'den itibaren +%10 ve $200'den itibaren +%15. $100'lük bir yükleme $110 krediye dönüşür. Ödeme kripto ile yapılır: TRC20 üzerinde USDT veya Base üzerinde USDC. Kredi hiç sona ermez ve abonelik yoktur.

Yeni kullanıcılar API anahtarı sayfasında üzerinde tek tıkla $0,50 deneme kredisi talep edebilir. 7 gün boyunca geçerlidir, ödeme bilgisi gerektirmez ve kişi başı bir kez kullanılabilir. 1.000 giriş ve 500 çıkış tokenlık istek başına $0,0004 ile, bu miktar herhangi bir ödeme yapmadan önce kendi ortalama maliyetinizi ölçmek için yeterli olan yaklaşık 1.250 isteği karşılar. Fiyatlandırma sayfası oranları listeler ve dokümantasyon istek formatını gösterir.

Daha fazla kılavuz

• Python Kodlama İçin En İyi Yerel LLM: Yerel mi Yoksa Barındırılan API mi?
• Sansürsüz LLM Sohbeti: Entegrasyon Kılavuzu ve Kullanım Alanları