Biaya Perangkat Keras LLM Lokal: Kapan API Lebih Murah
Model lokal yang layak membutuhkan GPU dengan memori yang banyak, mesin host yang layak, dan tagihan listrik. Dibiayakan selama tiga tahun, itu jauh lebih mahal per bulan daripada yang dibelanjakan kebanyakan orang untuk token.


Poin utama
- Memori pada GPU, bukan kecepatan mentah, menentukan apa yang dapat Anda jalankan dan apa yang Anda bayar.
- Dengan rakitan ilustratif di bawah ini, titik impas adalah sekitar 232 juta token per bulan, atau sekitar 18 jam generasi setiap hari.
- API menang pada volume rendah dan tidak menentu; lokal menang untuk penggunaan berat yang konstan, kebutuhan privasi, dan pekerjaan offline.
- Perlakukan setiap harga perangkat keras di sini sebagai angka contoh dan periksa harga pasar saat ini.
Apa yang mendorong harga
Biaya hardware LLM lokal sebagian besar terdiri dari satu komponen: kartu grafis, dan secara khusus seberapa besar memori video yang dimilikinya. Bobot model harus muat di VRAM, atau dalam campuran yang lebih lambat antara VRAM dan RAM sistem. Aturan kasar untuk bobot saja adalah jumlah parameter dikali bit per bobot dibagi delapan. Model dengan 8 miliar parameter pada kuantisasi 4-bit membutuhkan sekitar 4 GB. Model 70 miliar parameter pada 4-bit membutuhkan sekitar 35 GB. Di atas itu, Anda membutuhkan ruang untuk cache KV, yang bertambah seiring panjang konteks, serta beberapa overhead.
Itulah mengapa kurva harganya curam. Kartu dengan memori 12 GB menjalankan model kecil. Kartu 24 GB menjalankan model ukuran menengah dengan nyaman. Apa pun yang lebih besar berarti dua kartu atau perangkat keras workstation. Kecepatan kurang penting daripada kapasitas: kartu yang lebih lambat yang memuat model mengalahkan kartu yang lebih cepat yang tidak.
Rakitan anggaran, menengah, dan besar
Harga di bawah ini adalah asumsi ilustratif, bukan kutipan. Harga bekas dan baru bergerak terus-menerus, jadi ganti dengan apa yang sebenarnya Anda temukan. Tujuannya adalah bentuk perhitungan.
| Item | Rakitan kecil | Rakitan menengah | Rakitan besar |
|---|---|---|---|
| Memori GPU | 12 GB | 24 GB | 2 x 24 GB |
| GPU (diasumsikan) | $350 | $800 | $1.600 |
| CPU, papan, RAM 32 hingga 64 GB, SSD (diasumsikan) | $500 | $600 | $900 |
| Catu daya, casing, pendingin (diasumsikan) | $150 | $100 | $200 |
| Total (diasumsikan) | $1,000 | $1,500 | $2,700 |
Jika Anda sudah memiliki PC gaming dengan kartu yang sesuai, biaya perangkat keras marginal Anda adalah nol dan sisa artikel ini bergeser sangat mendukung lokal. Jika Anda membeli baru, tabelnya lebih dekat dengan kebenaran.
Ubah pembelian menjadi biaya bulanan
Sebar pembangunan selama masa hidup yang realistis, dan tambahkan daya. Pembangunan menengah seharga $1.500 selama 36 bulan adalah $41,67 per bulan. Tambahkan listrik untuk mesin yang menghasilkan sekitar empat jam sehari: menggunakan 450 W saat beban, 60 W saat idle dan $0,15 per kWh yang berarti $13,50 per bulan. Total: $55,17 per bulan.
| Rakitan | Perangkat keras per bulan (36 bulan) | Daya per bulan (4 jam/hari) | Total per bulan |
|---|---|---|---|
| Kecil | $27,78 | $13,50 | $41,28 |
| Menengah | $41,67 | $13,50 | $55,17 |
| Besar | $75,00 | $23,40 | $98,40 |
Angka daya konfigurasi besar mengasumsikan 800 W saat beban penuh dan 100 W saat idle: 3,2 kWh ditambah 2,0 kWh sehari adalah 5,2 kWh, dikali 30 adalah 156 kWh, dikali $0,15 adalah $23,40.
Titik impas terhadap harga per token
Sekarang konversi angka bulanan itu menjadi token. Asumsikan lalu lintas obrolan dengan tiga token input per token output. Satu juta token output ditambah tiga juta token input biaya 1 x $0,50 + 3 x $0,15 = $0,95 untuk empat juta token, rata-rata $0,2375 per 1M. Untuk konfigurasi menengah:
- $55,17 dibagi $0,2375 per 1 juta adalah sekitar 232 juta token per bulan pada titik impas.
- Seperempat dari itu adalah output: sekitar 58 juta token output.
- Pada 30 token per detik, satu mesin akan menghasilkan sekitar 77,8 juta token output jika berjalan penuh selama 30 hari (2,592 juta detik kali 30).
58M token output pada 30 per detik membutuhkan 1,94 juta detik, sekitar 538 jam, yang merupakan 17,9 jam generasi setiap hari. Satu orang yang mengetik prompt tidak melakukan itu. Pipelining batch atau layanan dengan banyak pengguna mungkin melakukannya.
Di mana lokal masih masuk akal
Titik impas mengatakan API lebih murah untuk sebagian besar individu. Itu tidak mengatakan lokal tidak berguna. Alasan untuk membeli perangkat keras tetap:
- Anda sudah memiliki kartunya. Maka hanya listrik yang dihitung.
- Beban konstan. Pipelining yang berjalan sepanjang hari, seperti klasifikasi massal, dapat membuat GPU cukup sibuk untuk melewati titik impas.
- Pekerjaan offline atau air-gapped. Tidak ada jaringan, tidak ada tagihan per token, tidak ada data yang keluar dari gedung.
- Eksperimen dengan bobot. Jika Anda ingin mengubah kuantisasi, menggabungkan model, atau menjalankan fine-tune sendiri, Anda memerlukan file di disk Anda.
Untuk pandangan yang lebih luas tentang berapa biaya LLM secara umum, lihat halaman tentang berapa biaya LLM. Alasan untuk menyewa alih-alih: penggunaan yang tidak menentu, banyak eksperimen dengan ukuran berbeda, kebutuhan akan jendela konteks panjang tanpa membeli VRAM lebih banyak, dan tidak ingin memelihara driver dan server inferensi. Opsi yang di-host di sini memiliki jendela konteks 100.000 token, yang membutuhkan banyak memori untuk cache KV di rumah.
Tiga orang, tiga jawaban
Angka lebih mudah dipercaya ketika sesuai dengan situasi nyata. Berikut adalah tiga profil, dengan harga $0,15 dan $0,50 per 1M token dengan rasio input tiga-ke-satu.
- Pengguna hobi mengobrol selama satu atau dua jam sehari dan mengirim sekitar 10M token per bulan secara total. Dengan harga blended $0,2375 per 1M, itu adalah $2,38. Bandingkan dengan $41,28 per bulan untuk bahkan build terkecil. API sekitar tujuh belas kali lebih murah.
- Pengembang menjalankan asisten editor dan skrip pengujian, sekitar 60M token per bulan: $14,25 melalui API. Build menengah biaya $55,17 per bulan, sehingga API masih menang dengan margin lebar kecuali kartu sudah dimiliki.
- Operator batch mengklasifikasikan dokumen sepanjang waktu, 400M token per bulan: $95,00 melalui API. Build menengah dengan biaya $55,17 lebih murah jika benar-benar dapat memproses volume tersebut, tetapi pada 30 token per detik output, ia mencapai puncak di sekitar 77,8M token output per bulan, sekitar 311M token total dengan rasio yang sama. Jadi operator memerlukan kartu kedua atau harus menerima volume yang lebih rendah, yang meningkatkan biaya lokal.
Polanya konsisten: API menang hingga penggunaan konstan dan besar, dan kapasitas lokal kemudian menjadi bottleneck. Konkurensi juga berbeda. Kunci penuh di sini memungkinkan 8 permintaan konkuren, sementara GPU desktop tunggal biasanya melayani satu permintaan pada satu waktu dengan kecepatan penuh.
Menghabiskan lebih sedikit, dan apa yang tidak dicatat di kwitansi
Cara mengurangi pengeluaran perangkat keras
- Beli bekas. Kartu generasi sebelumnya dengan memori 24 GB sering kali menawarkan nilai terbaik per gigabyte. Periksa penjual, dan uji kartu di bawah beban saat tiba.
- Offload layer. Mesin inferensi seperti llama.cpp dapat menyimpan sebagian model di RAM sistem. Ini berjalan, tetapi lebih lambat, jadi gunakan hanya ketika kecepatan tidak menjadi masalah.
- Pilih model yang lebih kecil. Model 8B yang telah dioptimalkan pada kartu 12 GB mencakup banyak tugas sehari-hari. Bayar untuk ukuran hanya ketika tugas membutuhkannya.
- Sewa waktu GPU per jam. Sewa GPU cloud menghindari pembelian tetapi memiliki tarif per jam mereka sendiri, jadi periksa harga saat ini mereka dan bandingkan dengan penagihan per token.
Biaya tersembunyi yang dilupakan orang
- Penyusutan. GPU kehilangan nilai jual kembali saat kartu baru hadir. Masa pakai 36 bulan di atas adalah perkiraan.
- Kegagalan dan penggantian. Catu daya atau kipas yang mati adalah tagihan tak terduga.
- Peningkatan. Model open-weight baru cenderung lebih besar. Kartu yang cocok dengan favorit hari ini mungkin tidak cocok untuk tahun depan.
- Waktu. Penyiapan, pembaruan, dan debugging adalah waktu nyata yang dihabiskan. Jika Anda menghargai waktu tersebut, tambahkan.
- Kebisingan dan panas. Mesin 450 W di ruangan kecil terdengar dan hangat.
Tidak ada yang muncul di kwitansi, itulah mengapa rig sering terlihat lebih murah di pikiran orang daripada kenyataannya.
Hitung titik impas Anda sendiri
Pilih angka Anda dan jalankan ini. Ini mengambil biaya lokal bulanan Anda all-in dan mencetak volume token bulanan di mana API mencocokkannya, pada harga layanan ini.
local_monthly = 55.17 # hardware per month + electricity
in_price, out_price = 0.15, 0.50 # dollars per 1M tokens
ratio = 3 # input tokens per output token
blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")Jika volume nyata Anda jauh di bawah itu, gunakan API. Untuk mengukur volume Anda, klaim kredit uji coba di halaman kunci API, jalankan prompt nyata Anda ke https://api.uncensoredlocalllm.com/v1 dengan model uncensored, dan baca penggunaan token di setiap respons. Lihat dokumentasi untuk format permintaan dan halaman harga untuk isi saldo.
Panduan lainnya
Tanya jawab
Berapa biaya PC yang dapat menjalankan LLM secara lokal?
Hal ini tergantung pada ukuran model yang Anda inginkan. Dengan harga placeholder dalam artikel ini, rakitan kecil sekitar $1.000 dan rakitan menengah dengan kartu 24 GB sekitar $1.500. Periksa harga pasar saat ini sebelum Anda merencanakan.
Apakah saya memerlukan GPU untuk menjalankan LLM lokal?
Tidak, model kecil berjalan di CPU dengan RAM yang cukup, tetapi generasi jauh lebih lambat. GPU dengan memori yang cukup untuk bobot adalah apa yang membuatnya praktis.
Kapan LLM lokal lebih murah daripada API?
Ketika mesin sibuk banyak jam sehari, ketika Anda sudah memiliki perangkat keras, atau ketika Anda membutuhkan operasi offline. Pada harga dalam artikel ini, konfigurasi menengah mencapai titik impas dekat 18 jam generasi sehari.
Dapatkah saya mencoba API sebelum membeli perangkat keras?
Ya. Pengguna baru dapat mengklaim $0,50 kredit uji coba tanpa kartu dan menjalankan prompt nyata mereka untuk melihat kualitas dan biaya.
uncensoredlocalllm.com
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.