Yerel LLM Donanım Maliyeti: API Daha Ucuz Olduğunda
Kullanılabilir bir yerel model için bol bellekli bir GPU, iyi bir ana makine ve bir elektrik faturası gerekir. Üç yıla yayıldığında bu, çoğu kişinin tokenlara harcadığı miktardan çok daha fazla bir maliyete mal olur.


Temel noktalar
- GPU'daki bellek, saf hızdan ne çalıştırabileceğinizi ve ne ödeyeceğinizi belirler.
- Aşağıdaki örnek kurulumla, başabaş noktası ayda yaklaşık 232M token veya günde yaklaşık 18 üretim saatine karşılık gelir.
- Düşük ve dalgalı hacimlerde API kazanır; sürekli yoğun kullanım, gizlilik gereksinimleri ve çevrimdışı çalışma için yerel kazanır.
- Buradaki tüm donanım fiyatlarını bir varsayım olarak kabul edin ve güncel piyasa fiyatlarını kontrol edin.
Fiyatı ne yönlendirir
yerel LLM donanım maliyeti büyük ölçüde tek bir bileşenden oluşur: ekran kartı ve özellikle sahip olduğu video bellek miktarı. Model ağırlıkları VRAM'e sığmalı veya daha yavaş bir VRAM ve sistem RAMi karışımında olmalıdır. Sadece ağırlıklar için kabaca bir kural, parametre sayısını ağırlık başına bit sayısıyla çarpıp sekize bölmektir. 8 milyar parametresi olan bir model 4-bit nicemleme ile yaklaşık 4 GB gerektirir. 70 milyar parametresi olan bir model 4-bit'te yaklaşık 35 GB gerektirir. Üstelik bağlam uzunluğuyla artan KV önbelleği için yer ve bazı ek yükler gerekir.
Bu nedenle fiyat eğrisi diktir. 12 GB bellekli bir kart küçük modelleri çalıştırır. 24 GB'lık bir kart orta boy modelleri rahatça çalıştırır. Bundan büyükleri iki kart veya iş istasyonu donanımı gerektirir. Hız, kapasiteden daha az önemlidir: modeli sığdıran daha yavaş bir kart, sığdıramayan daha hızlı bir karttan iyidir.
Bütçe, orta ve büyük bir kurulum
Aşağıdaki fiyatlar göstermelik varsayımlardır, teklif değildir. Kullanılmış ve yeni fiyatlar sürekli değişir, bu yüzden bulduklarınızla değiştirin. Önemli olan hesaplamının şeklidir.
| Öğe | Küçük kurulum | Orta kurulum | Büyük kurulum |
|---|---|---|---|
| GPU belleği | 12 GB | 24 GB | 2 x 24 GB |
| GPU (varsayılan) | $350 | $800 | $1,600 |
| CPU, anakart, 32 ila 64 GB RAM, SSD (varsayılan) | $500 | $600 | $900 |
| Güç kaynağı, kasa, soğutma (varsayılan) | $150 | $100 | $200 |
| Toplam (varsayılan) | $1,000 | $1,500 | $2,700 |
Zaten uygun bir kartı olan bir oyun PC'niz varsa, marjinal donanım maliyetiniz sıfırdır ve bu makalenin geri kalanı yerel lehine büyük ölçüde değişir. Yeni alıyorsanız, tablo gerçeğe daha yakındır.
Satın alımı aylık bir maliyete dönüştürün
Kurulumu gerçekçi bir yaşam süresine yayın ve elektriği ekleyin. 36 ayda $1.500 değerindeki orta seviye kurulum aylık $41,67 eder. Günde yaklaşık dört saat çalıştıran bir makine için elektrik maliyetini ekleyin: yük altında 450 W, boşta 60 W ve kWh başına $0,15 ile bu aylık $13,50 eder. Toplam: $55,17 ayda.
| Kurulum | Donanım başına ay (36 ay) | Güç başına ay (4 saat/gün) | Toplam aylık |
|---|---|---|---|
| Küçük | $27,78 | $13,50 | $41,28 |
| Orta | $41,67 | $13,50 | $55,17 |
| Büyük | $75,00 | $23,40 | $98,40 |
Büyük kurulumun güç figürü, yük altında 800 W ve boşta 100 W varsayımına dayanır: günde 3,2 kWh artı 2,0 kWh toplam 5,2 kWh, 30 ile çarpıldığında 156 kWh, $0,15 ile çarpıldığında $23,40 eder.
Token başı fiyata karşı maliyet dengesi
Şimdi bu aylık rakamı tokenlara dönüştürün. Çıkış tokenı başına üç girdi tokenı olan sohbet trafiğini varsayın. Bir milyon çıkış tokenı ve üç milyon girdi tokenı, dört milyon token için 1 x $0,50 + 3 x $0,15 = $0,95 eder, bu da 1M başına ortalama $0,2375 eder. Orta yapı için:
- $55,17'yi 1M başına $0,2375'e bölmek, maliyet dengesinde ayda yaklaşık 232M token eder.
- O tokenın dörtte biri çıktıdır: yaklaşık 58M çıktı tokenı.
- Saniyede 30 token hızında, bir makine 30 gün boyunca tam kapasite çalıştırılırsa (2,592 milyon saniye x 30) yaklaşık 77,8M çıktı tokenı üretecektir.
Saniyede 30 hızda 58M çıkış tokenı 1,94 milyon saniye sürer, yaklaşık 538 saat, yani günde 17,9 saat üretim eder. Tek bir kişi bu kadar istek göndermez. Bir toplu işlem hattı veya çok kullanıcılı bir hizmet yapabilir.
Yerel mantıklı olduğu yerler
Maliyet dengesi, API'nin çoğu birey için daha ucuz olduğunu söyler. Yerelin anlamsız olduğunu söylemez. Yine de donanım satın almak için nedenler:
- Kartı zaten sizde var. Sadece elektrik maliyeti geçerli olur.
- Sürekli yük. Toplu sınıflandırma gibi gün boyu çalışan bir hat, GPU'yu maliyet dengesini geçecek kadar meşgul tutabilir.
- Çevrimdışı veya hava izole edilmiş iş. Ağ yok, token başı fatura yok, veri binadan çıkmaz.
- Ağırlıklar üzerinde deneyler. Kuantizasyonları değiştirmek, modelleri birleştirmek veya kendi ince ayarlarınızı çalıştırmak istiyorsanız, dosyaların diskinizde olması gerekir.
LLM kullanımının genel maliyetine daha geniş bir bakış için bir LLM'in maliyeti nedir sayfasına bakın. Kiralamayı tercih etme nedenleri: dalgalı kullanım, farklı boyutlarla çok sayıda deney, daha fazla VRAM satın almadan uzun bağlam penceresi ihtiyacı ve sürücüler ile çıkarım sunucularını yönetmek istememek. Burada sunulan barındırılan seçeneğin 100.000 token'lık bir bağlam penceresi vardır; bu, evde KV önbelleği için çok fazla bellek gerektirirdi.
Üç kişi, üç yanıt
Rakamlar gerçek bir duruma uyduğunda güvenilmesi daha kolaydır. İşte üç profil, 1M token başına $0,15 ve $0,50 fiyatlarıyla üçe bir girdi oranı ile.
- Hobist günde bir veya iki saat sohbet eder ve toplamda ayda yaklaşık 10M token gönderir. Ortalama $0,2375/1M başına bu, $2,38 eder. Bunu, küçük kurulum için aylık $41,28 ile karşılaştırın. API yaklaşık on yedi kat daha ucuzdur.
- Geliştirici bir editör yardımcısı ve test betikleri çalıştırır, ayda yaklaşık 60M token: API ile $14,25. Orta kurulum ayda $55,17 tutarındadır, bu nedenle API, kart zaten satın alınmadıkça geniş bir farkla yine de kazanır.
- Toplu işlem operatörü belgeleri günün her saati sınıflandırır, ayda 400M token: API ile $95,00. $55,17'lik orta kurulum, bu hacmi gerçekten işleyebiliyorsa daha ucuzdur; ancak saniyede 30 token çıktı hızında ayda yaklaşık 77,8M çıktı token'ına ulaşır, aynı oranla toplamda yaklaşık 311M token eder. Bu nedenle operatörün ikinci bir karta ihtiyacı vardır veya daha düşük hacim kabul etmek zorundadır; bu da yerel maliyeti artırır.
Kalıp tutarlıdır: API kullanım sabit ve büyük olduğu sürece kazanır ve yerel kapasite daha sonra darboğaz haline gelir. Eşzamanlılık da farklılık gösterir. Buradaki tam anahtar 8 eşzamanlı isteğe izin verirken, tek bir masaüstü GPU genellikle tam hızda bir seferde bir isteğe hizmet eder.
Daha az harcamak ve faturada yer almayanlar
Donanıma harcanan parayı azaltma yolları
- İkinci el satın alın. Önceki nesil, 24 GB belleğe sahip kartlar genellikle gigabayt başına en iyi değeri sunar. Satıcıyı kontrol edin ve kartı varışta yük altında test edin.
- Katmanları dışarı taşıyın. llama.cpp gibi çıkarım motorları modelin bir kısmını sistem RAMinde tutabilir. Çalışır ama daha yavaş, bu yüzden yalnızca hız önemli olmadığında bunu kullanın.
- Daha küçük bir model seçin. İyi ayarlanmış bir 8B model, 12 GB'lık bir kart üzerinde günlük birçok görevi kapsar. Bir görev bunu gerektirdiğinde boyut için ödeme yapın.
- GPU süresini saatlik kiralayın. Bulut GPU kiralamaları satın almaktan kaçınmanızı sağlar, ancak kendi saatlik ücretleri vardır; bu nedenle mevcut fiyatlandırmalarını kontrol edin ve token başı faturalandırma ile karşılaştırın.
İnsanların unuttuğu gizli maliyetler
- Değer düşüşü. GPU'lar yeni kartlar piyasaya sürüldükçe satış değerini kaybeder. Yukarıdaki 36 aylık ömür bir tahmindir.
- Arıza ve değişim. Ölü bir güç kaynağı veya fan sürpriz bir fatura demektir.
- Yükseltmeler. Yeni açık ağırlıklı modeller genellikle daha büyük olma eğilimindedir. Bugünün favori modeli sığan bir kart, gelecek yılkini sığmayabilir.
- Zaman. Kurulum, güncellemeler ve hata ayıklama gerçek saatler alır. Bunlara bir değer veriyorsanız, bunları ekleyin.
- Gürültü ve ısı. Küçük bir odadaki 450 W'lık bir makine duyulabilir ve sıcaktır.
Bunların hiçbiri bir fişte görünmez; bu nedenle bir sistem, insanların zihinlerinde olduğundan daha ucuz görünür.
Kendi başabaş noktanızı hesaplayın
Sayılarınızı seçin ve çalıştırın. Bu, tüm maliyetleri içeren aylık yerel maliyetinizi alır ve API'nin bu hizmetin fiyatlarıyla eşleştiği aylık token hacmini yazdırır.
local_monthly = 55.17 # hardware per month + electricity
in_price, out_price = 0.15, 0.50 # dollars per 1M tokens
ratio = 3 # input tokens per output token
blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")Gerçek kullanım hacminiz bunun çok altındaysa API'yi kullanın. Hacminizi ölçmek için API anahtarı sayfası üzerinde deneme kredisi talep edin, gerçek istemlerinizi https://api.uncensoredlocalllm.com/v1 uç noktasına uncensored modeli ile çalıştırın ve her yanıtta token kullanımını okuyun. İstek formatı için dokümantasyon'e ve bakiye yüklemek için fiyatlandırma sayfası'e bakın.
Daha fazla kılavuz
Sorular ve cevaplar
Bir LLM'i yerel olarak çalıştırabilecek bir PC ne kadar tutar?
İstediğiniz model boyutuna bağlıdır. Bu makaledeki yer tutucu fiyatlarla, küçük bir kurulum yaklaşık $1.000 ve 24 GB'lık bir kartlı orta kurulum yaklaşık $1.500 tutarındadır. Plan yapmadan önce mevcut piyasa fiyatlarını kontrol edin.
Yerel bir LLM çalıştırmak için GPU'ya ihtiyacım var mı?
Hayır, küçük modeller yeterli RAM olan bir CPU'da çalışır ancak metin üretme çok daha yavaştır. Ağırlıklar için yeterli belleği olan bir GPU, bunu pratik hale getirir.
Yerel bir LLM, API'den ne zaman daha ucuzdur?
Makine günün birçok saati meşgul olduğunda, donanımı zaten satın aldığınızda veya çevrimdışı çalışma gerektiğinde. Bu makaledeki fiyatlarla orta yapı, günde 18 üretme saati civarında başabaş noktasına gelir.
Donanım satın almadan önce API'yi deneyebilir miyim?
Evet. Yeni kullanıcılar kart olmadan $0,50 deneme kredisi talep edebilir ve kaliteyi ve maliyeti görmek için gerçek istemlerini çalıştırabilir.
uncensoredlocalllm.com
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.