Biaya Listrik LLM Lokal vs Membayar per Token
Menjalankan model di GPU Anda sendiri tidak gratis: kartu menarik daya nyata saat menghasilkan dan PC tetap menarik sebagian daya saat idle. Berikut cara memperkirakannya dan kapan API per token lebih murah.


Poin utama
- Pengaturan single-user dengan kecepatan sekitar 30 token per detik menghabiskan sekitar $0,63 untuk listrik per 1 juta token output, sebelum biaya perangkat keras.
- Pada penggunaan ringan, API lebih murah. Pada penggunaan harian berat, rig lokal dapat mengalahkannya hanya pada daya.
- Daya diam lebih penting daripada yang diharapkan kebanyakan orang ketika PC menyala sepanjang hari.
- Pembelian perangkat keras, bukan listrik, biasanya menentukan titik impas yang sebenarnya.
Jawaban singkat
Biaya listrik untuk llm lokal bergantung pada tiga angka: berapa watt yang ditarik mesin Anda saat melakukan generasi, berapa jam per hari mesin melakukan generasi, dan berapa biaya utilitas Anda per kilowatt-jam. Untuk desktop GPU tunggal yang khas, biaya bulanan berkisar antara beberapa dolar hingga beberapa puluh dolar. Jumlah ini kecil dibandingkan harga perangkat keras, tetapi tidak nol, dan cukup signifikan saat Anda membandingkannya dengan membayar per token.
Perhitungan di bawah ini menggunakan asumsi yang dapat Anda ganti dengan milik Anda sendiri. Sisi API menggunakan harga nyata layanan ini: $0,15 per 1M token input dan $0,50 per 1M token output.
Rumusnya
Listrik adalah energi dikalikan harga. Energi dalam kilowatt-jam adalah daya dalam kilowatt dikalikan jam.
monthly_kwh = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwhGunakan meteran daya colok jika Anda memilikinya. Ini mengukur seluruh mesin di stopkontak, yang Anda bayar. Membaca daya papan GPU yang dinilai dari lembar spesifikasi hanya memberikan sebagian gambaran, karena CPU, memori, drive, kipas, dan kerugian catu daya menambahnya.
Untuk contoh saya mengasumsikan:
- 450 W saat model sedang melakukan generasi (kartu yang dinilai sekitar 350 W ditambah sisa sistem).
- 60 W saat PC menyala tetapi dalam keadaan idle.
- $0,15 per kWh. Ini adalah asumsi. Tarif bervariasi sangat banyak tergantung negara dan waktu dalam sehari, jadi ganti angka ini dengan angka pada tagihan Anda.
- 30 token per detik untuk generasi bagi satu pengguna. Kecepatan Anda bergantung pada model, kuantisasi, dan kartu grafis.
Tiga tingkat penggunaan, dihitung
Ambil pengguna ringan, sedang, dan berat. Mesin menyala sepanjang hari dalam setiap kasus, sehingga jam diam dihitung.
| Penggunaan | Menghasilkan per hari | Energi per bulan | Listrik per bulan | Token output per bulan |
|---|---|---|---|---|
| Ringan | 1 jam | 54,9 kWh | $8,24 | 3,24M |
| Sedang | 4 jam | 90,0 kWh | $13,50 | 12,96M |
| Berat | 12 jam | 183,6 kWh | $27,54 | 38,88M |
Berikut baris sedang langkah demi langkah. Menghasilkan: 4 jam kali 0,45 kW adalah 1,8 kWh sehari. Diam: 20 jam kali 0,06 kW adalah 1,2 kWh sehari. Total 3,0 kWh sehari, jadi 90 kWh selama 30 hari, yang pada $0,15 adalah $13,50. Token: 4 jam adalah 14.400 detik, kali 30 token per detik adalah 432.000 token sehari, atau 12,96M sebulan.
Perhatikan bagaimana pengguna ringan membayar $8,24 hanya untuk 3,24M token. Daya diam adalah sebagian besar tagihan itu: 23 jam diam pada 60 W adalah 1,38 kWh sehari, lebih dari dua kali lipat 0,45 kWh yang dihabiskan untuk menghasilkan.
Berapa biaya token yang sama melalui API
Penggunaan chat mengirim lebih banyak token daripada yang diterima, karena setiap permintaan membawa prompt sistem dan percakapan sejauh ini. Asumsikan tiga token input untuk setiap token output, yang merupakan rasio yang masuk akal untuk chat dengan riwayat. Maka tagihan setiap bulan pada $0,15 dan $0,50 per 1M adalah:
| Penggunaan | Biaya output | Biaya input (3x token output) | Total API | Listrik lokal |
|---|---|---|---|---|
| Ringan | 3,24M x $0,50 = $1,62 | 9,72M x $0,15 = $1,46 | $3,08 | $8,24 |
| Sedang | 12,96M x $0,50 = $6,48 | 38,88M x $0,15 = $5,83 | $12,31 | $13,50 |
| Berat | 38,88M x $0,50 = $19,44 | 116,64M x $0,15 = $17,50 | $36,94 | $27,54 |
Dua hal yang menonjol. Pertama, di bawah sekitar empat jam generasi sehari, API lebih murah daripada listrik saja. Kedua, pada dua belas jam sehari, rig lokal menang pada daya, karena bagian idle menyusut dan Anda menggunakan silikon yang sudah Anda bayar. Angka API juga mencakup pemrosesan input, yang GPU Anda lakukan secara gratis dalam istilah uang tunai tetapi masih menghabiskan energi untuknya. Prefill cepat, jadi saya tidak memasukkannya ke sisi lokal; itu sedikit mendukung lokal.
Listrik per juta token
Cara membandingkan yang berguna adalah biaya energi per 1 juta token output hanya selama generasi. Pada 450 W dan 30 token per detik, satu juta token membutuhkan sekitar 33.333 detik, atau 9,26 jam. Itu adalah 4,17 kWh, dan pada $0,15 per kWh nilainya sekitar $0,63. API mengenakan biaya $0,50 per 1 juta token output, dengan input ditagih terpisah sebesar $0,15.
Jadi bahkan sebelum Anda menghitung GPU, pengguna tunggal yang menghasilkan pada 30 token per detik menghabiskan lebih banyak untuk daya per token keluaran daripada harga API. Selisih itu hanya menyempit jika perangkat keras Anda lebih cepat atau daya Anda lebih murah. Pada 60 token per detik, matematika yang sama memberikan sekitar $0,31. Pada $0,08 per kWh dan 30 token per detik memberikan sekitar $0,33. Perubahan apa pun menggeser jawaban, jadi hitung angka Anda sendiri.
Batching adalah pengecualian. Server yang menangani beberapa permintaan sekaligus menghabiskan lebih sedikit energi per token, itulah sebabnya penyedia yang di-hosting dapat menawarkan harga rendah. Desktop yang digunakan oleh satu orang jarang mendapat manfaat dari hal ini.
Apa yang tidak dimasukkan oleh rumus
- Perangkat keras. GPU yang menjalankan model yang berguna harganya jauh lebih mahal daripada setahun listrik di atas. Jika disebar sepanjang masa pakainya, biasanya mendominasi total biaya. Halaman berapa biaya LLM membahas sisi pembelian.
- Pendinginan dan kebisingan. Di iklim yang hangat, panas dari 450 W juga membebani pendingin ruangan Anda. Di musim dingin, panas itu sebagian berguna sebagai pemanas.
- Model yang lebih besar. Model yang membutuhkan dua kartu hampir menggandakan angka beban.
- Waktu Anda. Memperbarui driver, memilih kuantisasi, dan memperbaiki error out-of-memory adalah pekerjaan yang dihilangkan oleh API.
Di sisi lain, model lokal tidak memerlukan biaya tambahan per permintaan tambahan dan berfungsi secara offline. Jika Anda menjalankannya selama beberapa jam setiap hari, hal itu sangat penting.
Cara menurunkan tagihan lokal
Jika Anda tetap menggunakan solusi lokal, beberapa kebiasaan memangkas angka tersebut tanpa menyentuh model.
- Mode tidur. Mengubah daya idle 60 W sepanjang hari menjadi tidur selama 16 dari 20 jam idle menghemat sekitar 29 kWh per bulan dalam kasus moderat, sekitar $4,32 pada $0,15.
- Batasi batas daya GPU. Banyak kartu kehilangan sedikit kecepatan generasi ketika batas daya diturunkan sebesar 20 hingga 30 persen. Uji kartu Anda sendiri, karena hasilnya bervariasi tergantung model dan driver.
- Gunakan kuantisasi atau model yang lebih kecil untuk tugas rutin. Lebih sedikit byte per bobot berarti lalu lintas memori yang lebih sedikit dan sering kali generasi yang lebih cepat, yang memperpendek jam kartu sibuk.
- Jalankan pada tarif waktu penggunaan. Jika utilitas Anda mengenakan biaya lebih murah di malam hari, jadwalkan pekerjaan batch untuk jam-jam tersebut.
Periksa penghematan tidur: 16 jam kali 0,06 kW adalah 0,96 kWh sehari, kali 30 adalah 28,8 kWh, kali $0,15 adalah $4,32. Namun, tidak ada yang mengubah orde besarnya. Listrik tetap menjadi bagian kecil dari total dibandingkan dengan perangkat keras itu sendiri.
Mencoba sisi API dengan angka nyata
Anda dapat memperkirakan estimasi API terhadap beban kerja Anda sendiri dengan murah. Pengguna baru dapat mengklaim $0,50 kredit uji coba dengan satu klik di halaman kunci API setelah pendaftaran, tanpa kartu, berlaku selama 7 hari. Kirim beberapa permintaan realistis, lalu baca header respons X-Balance-USD untuk melihat berapa biayanya.
curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'Bandingkan saldo sebelum dan sesudah, sesuaikan dengan jumlah permintaan yang Anda harapkan, dan bandingkan dengan estimasi listrik Anda. Tarif saat ini dan bonus isi ulang tercantum di halaman harga, dan detail permintaan ada di dokumentasi.
Panduan lainnya
Tanya jawab
Berapa banyak listrik yang digunakan LLM lokal?
Desktop GPU tunggal biasanya menarik beberapa ratus watt saat menghasilkan dan di bawah 100 W saat siaga. Ukur di stopkontak dengan meteran colok, lalu kalikan dengan jam dan harga listrik per kWh Anda.
Apakah model menganggur sebagian besar waktu?
Untuk sebagian besar pengaturan pribadi, ya. Daya idle bisa lebih besar daripada energi generasi, sehingga mengaktifkan mode tidur PC di antara sesi memotong tagihan.
Apakah LLM lokal lebih murah daripada API?
Pada penggunaan ringan atau sedang, biasanya tidak lebih murah setelah daya dihitung, dan sama sekali tidak setelah perangkat keras dimasukkan. Pada banyak jam generasi harian, penghematan daya saja sudah bisa lebih unggul.
Bisakah saya menguji biaya API tanpa membayar?
Ya. Kredit uji coba satu klik senilai $0,50 tidak memerlukan kartu, dan header saldo menunjukkan berapa biaya setiap permintaan.
uncensoredlocalllm.com
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.