Yerel LLM elektrik maliyeti vs. token başı ödeme
Modeli kendi GPU'nuzda çalıştırmak ücretsiz değildir: kart üretim sırasında gerçek güç çeker ve PC bekleme durumunda da bir miktar güç çeker. İşte nasıl tahmin edileceği ve token başı API'nin ne zaman daha ucuz olacağı.


Temel noktalar
- Saniyede yaklaşık 30 token üreten tek kullanıcılı bir kurulum, donanım maliyetleri hariç, 1M çıktı token'ı başına yaklaşık $0,63 elektrik maliyeti harcar.
- Hafif kullanımda API daha ucuzdur. Yoğun günlük kullanımda yerel bir kurulum, sadece elektrik maliyeti açısından bunu geçebilir.
- Boşta kalma tüketimi, bilgisayarın gün boyu açık kalması durumunda çoğu kişinin düşündüğünden daha önemlidir.
- Donanım satın alımı, elektrik faturasından ziyade gerçek break-even noktasını belirler.
Kısa cevap
yerel LLM elektrik maliyeti üç sayıya bağlıdır: makinenizin üretim sırasında çektiği watt, gün içinde üretim yaptığı saat sayısı ve kilovatsaat başına faturanızda yer alan ücret. Tipik tek GPU'lu bir masaüstü bilgisayarda aylık tutarı birkaç dolar ile birkaç on dolar arasında değişir. Bu tutar donanım fiyatına göre küçüktür, ancak sıfır değildir ve token başı ödeme ile karşılaştırıldığında önem kazanır.
Aşağıdaki hesaplama, kendi verilerinizle değiştirebileceğiniz varsayımlar kullanır. API tarafı bu hizmetin gerçek fiyatlarını kullanır: 1M giriş token'ı başına $0,15 ve 1M çıktı token'ı başına $0,50.
Formül
Elektrik, enerji ile fiyatın çarpımıdır. Kilovatt-saat cinsinden enerji, kilovat cinsinden güç ile saatlerin çarpımıdır.
monthly_kwh = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwhVarsa duvara takılan bir güç ölçüm cihazı kullanın. Duvar bağlantısındaki tüm makineyi ölçer, ki buna ödeme yaparsınız. GPU'nun teknik özellik sayfasındaki etiketli güç değerini okumak resmin sadece bir kısmını verir, çünkü CPU, bellek, sürücüler, fanlar ve güç kaynağı kayıpları buna eklenir.
Örnekler için şunları varsayıyorum:
- Model üretirken duvardan 450 W (350 W civarı etiketli bir kart ve sistemin geri kalanı).
- PC açıkken ancak bekleme durumunda duvardan 60 W.
- kWh başına $0,15. Bu bir varsayımdır. Ülkelere ve günün saatine göre oranlar büyük farklılıklar gösterir, bu yüzden faturanızdaki sayı ile değiştirin.
- Tek bir kullanıcı için saniyede 30 token üretim. Hızınız modele, nicekleme oranına ve kartınıza bağlıdır.
Üç kullanım seviyesi, hesaplanmış
Hafif, orta ve ağır bir kullanıcı düşünün. Her durumda makine tüm gün açık kalır, bu nedenle bekleme saatleri de hesaba katılır.
| Kullanım | Günlük üretim | Aylık enerji | Aylık elektrik | Aylık çıktı token'ları |
|---|---|---|---|---|
| Hafif | 1 saat | 54.9 kWh | $8,24 | 3.24M |
| Orta | 4 saat | 90.0 kWh | $13,50 | 12.96M |
| Ağır | 12 saat | 183.6 kWh | $27,54 | 38.88M |
Orta satırı adım adım işleyelim. Üretim: 4 saat x 0.45 kW = 1.8 kWh/gün. Bekleme: 20 saat x 0.06 kW = 1.2 kWh/gün. Toplam 3.0 kWh/gün, yani 30 günde 90 kWh. $0,15 ile bu $13,50 eder. Token: 4 saat 14.400 saniyedir. Saniyede 30 token x 14.400 = 432.000 token/gün veya ayda 12.96M token.
Hafif kullanıcının sadece 3.24M token için $8,24 ödediğine dikkat edin. Bekleme gücü faturanın büyük kısmını oluşturur: 23 bekleme saati x 60 W = 1.38 kWh/gün. Bu, üretim için harcanan 0.45 kWh'nin iki katından fazladır.
Aynı token'ların API üzerinden maliyeti
Sohbet kullanımı, her istek sistem istemini ve o ana kadarki konuşmayı içerdiği için aldığından daha fazla token gönderir. Geçmişli sohbet için makul bir oran olan, çıktı token'ının her biri için 3 giriş token'ı olduğunu varsayalım. O halde her ayın faturası $0,15 ve $0,50/1M fiyatlarıyla şöyledir:
| Kullanım | Çıktı maliyeti | Giriş maliyeti (çıktı token'larının 3 katı) | API toplamı | Yerel elektrik |
|---|---|---|---|---|
| Hafif | 3.24M x $0,50 = $1,62 | 9.72M x $0,15 = $1,46 | $3,08 | $8,24 |
| Orta | 12.96M x $0,50 = $6,48 | 38.88M x $0,15 = $5,83 | $12,31 | $13,50 |
| Ağır | 38.88M x $0,50 = $19,44 | 116.64M x $0,15 = $17,50 | $36,94 | $27,54 |
İki şey dikkat çekiyor. Birincisi, günde yaklaşık dört saatten az üretim yapıldığında API, sadece elektrik maliyetinden daha ucuzdur. İkincisi, günde on iki saat üretim yapıldığında yerel kurulum güç açısından kazanır, çünkü bekleme payı azalır ve zaten satın aldığınız silikonu kullanırsınız. API rakamı ayrıca giriş işleme maliyetini de içerir; GPU bunu nakit olarak ücretsiz yapar ancak yine de enerji harcar. Prefill hızlı olduğu için yerel taraftan çıkardım; bu yerel lehine hafif bir avantaj sağlar.
Milyon token başına elektrik
Karşılaştırmak için faydalı bir yol, sadece üretim sırasında 1M çıktı token'ı başına enerji maliyetidir. 450 W ve saniyede 30 token ile bir milyon token yaklaşık 33.333 saniye, yani 9.26 saat sürer. Bu 4.17 kWh eder ve kWh başına $0,15 ile yaklaşık $0,63 eder. API, 1M çıktı token'ı başına $0,50 ücretlendirir, giriş ayrı olarak $0,15'ten faturalandırılır.
Bu nedenle GPU maliyetini hesaba katmadan bile, saniyede 30 token üretim yapan tek bir kullanıcı, çıktı token'ı başına API fiyatından daha fazla güç maliyeti harcar. Bu fark, donanımınız daha hızlı veya gücünüz daha ucuzsa kapanır. Saniyede 60 token ile aynı matematik yaklaşık $0,31 verir. kWh başına $0,08 ve saniyede 30 token ile yaklaşık $0,33 verir. Her iki değişiklik de sonucu değiştirir, bu yüzden kendi sayılarınızı çalıştırın.
Toplu işleme bir istisnadır. Aynı anda birden fazla isteği işleyen bir sunucu, token başına çok daha az enerji harcar; bu nedenle barındırılan sağlayıcılar düşük fiyat verebilir. Tek bir kişi tarafından kullanılan bir masaüstü bilgisayarda bundan nadiren yararlanılır.
Formülün dışına bıraktıklarılar
- Donanım. Faydalı bir modeli çalıştıran bir GPU, yukarıdaki elektrik maliyetinin bir yılından çok daha pahalıdır. Ömrü boyunca dağıtıldığında toplam maliyetin çoğunu genellikle oluşturur. bir LLM'in maliyeti sayfası satın alma kısmını detaylandırır.
- Soğutma ve gürültü. Sıcak bir iklimde 450 W'lık ısı, klima sisteminizi de zorlar. Kışın ise kısmen faydalı bir ısıtma kaynağıdır.
- Daha büyük modeller. İki kart gerektiren bir model, yük değerini yaklaşık olarak iki katına çıkarır.
- Zamanınız. Sürücüleri güncellemek, nicekleme seçeneklerini seçmek ve bellek hatasını gidermek bir API tarafından kaldırılan iştir.
Diğer taraftan, yerel bir modelin ekstra istek başına maliyeti yoktur ve çevrimdışı çalışır. Günlük olarak birçok saat boyunca çalıştırıyorsanız, bu önemlidir.
Yerel faturayı düşürme yolları
Yerel kalmaya karar verirseniz, modele dokunmadan maliyeti düşürecek birkaç alışkanlık vardır.
- Makineyi uyku moduna al. Günde 20 saatin 16'sında bekleme modunda kalırken 60 W'lik tüketimi uyku moduna geçerek değiştirmek, ılıman senaryoda ayda yaklaşık 29 kWh tasarruf sağlar; bu da $0,15 başına yaklaşık $4,32 eder.
- GPU güç limitini sınırlayın. Birçok kartta üretim hızı, güç limiti %20 ile %30 arasında düşürüldüğünde çok az azalır. Sonuçlar modele ve sürücüye göre değiştiği için kendi kartınızı test edin.
- Sık kullanılan görevler için daha düşük nicekleme veya daha küçük model kullanın. Ağırlık başına düşen bayt sayısının azalması, daha az bellek trafiği ve genellikle daha hızlı üretim anlamına gelir; bu da kartın meşgul olduğu saatleri kısaltır.
- Kullanım bazlı tarifeye göre çalışın. Elektrik sağlayıcınız gece daha az ücret alıyorsa, toplu işleri bu saatlere planlayın.
Uyku tasarrufunu kontrol edin: 16 saat çarpı 0,06 kW, günde 0,96 kWh eder; 30 ile çarpıldığında 28,8 kWh; 0,15 $ ile çarpıldığında 4,32 $ eder. Bunların hiçbiri büyüklük mertebesini değiştirmez. Elektrik, donanımın kendisine kıyasla toplamda küçük bir payı temsil eder.
Gerçek sayılarla API tarafını denemek
API tahminini kendi iş yükünüzle ucuza kontrol edebilirsiniz. Yeni kullanıcılar, API anahtarı sayfası üzerinde tek tıkla kayıt sonrası $0,50 deneme kredisi talep edebilir; kart gerekmez, kredi 7 gün geçerlidir. Birkaç gerçekçi istek gönderin, ardından bu isteklerin neye mal olduğunu görmek için X-Balance-USD yanıt başlığını okuyun.
curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'Bakiyeyi öncesi ve sonrasına göre karşılaştırın, beklenen istek sayısına göre ölçeklendirin ve elektrik maliyeti tahmininizle kıyaslayın. Güncel oranlar ve bakiye yükleme bonusları fiyatlandırma sayfasında listelenmiştir; istek detayları ise dokümantasyonda yer almaktadır.
Daha fazla kılavuz
Sorular ve cevaplar
Yerel bir LLM ne kadar elektrik harcar?
Tek GPU'lu bir masaüstü bilgisayar, yanıt oluşturma sırasında genellikle birkaç yüz watt çeker ve boşta iken 100 W'un çok altındadır. Duvar prizinden fişli bir ölçüm cihazı ile ölçüm yapın, ardından saatlerle kWh başına fiyatınızı çarpın.
Model çoğu zaman boşta mı kalıyor?
Çoğu kişisel kurulumda evet. Boşta çekim, üretim enerjisinden daha büyük olabilir; bu nedenle oturumlar arasında PC'yi uyku moduna almak faturayı düşürür.
Yerel bir LLM bir API'den daha ucuz mu?
Hafif veya orta düzey kullanımda, genellikle güç hesaplandığında hayır, donanım dahil edildiğinde hiç hayır. Günlük üretim yapılan saat sayısı çok fazla olduğunda, sadece güç açısından avantaj sağlayabilir.
API maliyetini ödemeden test edebilir miyim?
Evet. Tek tıkla 0,50 $ deneme kredisi kart gerektirmez ve bakiye başlığı her bir istenin neye mal olduğunu gösterir.
uncensoredlocalllm.com
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.