ID ▾
Dapatkan kunci API

uncensoredlocalllm.comPanduan

Biaya Listrik LLM Lokal vs Membayar per Token

Menjalankan model di GPU Anda sendiri tidak gratis: kartu menarik daya nyata saat menghasilkan dan PC tetap menarik sebagian daya saat idle. Berikut cara memperkirakannya dan kapan API per token lebih murah.

Diperbarui

GPU isometrik terhubung ke meteran daya dan koin, mengilustrasikan biaya listrik LLM lokal
Ilustrasi isometrik GPU lokal yang terhubung ke cloud terhosting, mewakili perbandingan model coding lokal versus API

Poin utama

  • Pengaturan single-user dengan kecepatan sekitar 30 token per detik menghabiskan sekitar $0,63 untuk listrik per 1 juta token output, sebelum biaya perangkat keras.
  • Pada penggunaan ringan, API lebih murah. Pada penggunaan harian berat, rig lokal dapat mengalahkannya hanya pada daya.
  • Daya diam lebih penting daripada yang diharapkan kebanyakan orang ketika PC menyala sepanjang hari.
  • Pembelian perangkat keras, bukan listrik, biasanya menentukan titik impas yang sebenarnya.

Jawaban singkat

Biaya listrik untuk llm lokal bergantung pada tiga angka: berapa watt yang ditarik mesin Anda saat melakukan generasi, berapa jam per hari mesin melakukan generasi, dan berapa biaya utilitas Anda per kilowatt-jam. Untuk desktop GPU tunggal yang khas, biaya bulanan berkisar antara beberapa dolar hingga beberapa puluh dolar. Jumlah ini kecil dibandingkan harga perangkat keras, tetapi tidak nol, dan cukup signifikan saat Anda membandingkannya dengan membayar per token.

Perhitungan di bawah ini menggunakan asumsi yang dapat Anda ganti dengan milik Anda sendiri. Sisi API menggunakan harga nyata layanan ini: $0,15 per 1M token input dan $0,50 per 1M token output.

Rumusnya

Listrik adalah energi dikalikan harga. Energi dalam kilowatt-jam adalah daya dalam kilowatt dikalikan jam.

monthly_kwh  = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwh

Gunakan meteran daya colok jika Anda memilikinya. Ini mengukur seluruh mesin di stopkontak, yang Anda bayar. Membaca daya papan GPU yang dinilai dari lembar spesifikasi hanya memberikan sebagian gambaran, karena CPU, memori, drive, kipas, dan kerugian catu daya menambahnya.

Untuk contoh saya mengasumsikan:

  • 450 W saat model sedang melakukan generasi (kartu yang dinilai sekitar 350 W ditambah sisa sistem).
  • 60 W saat PC menyala tetapi dalam keadaan idle.
  • $0,15 per kWh. Ini adalah asumsi. Tarif bervariasi sangat banyak tergantung negara dan waktu dalam sehari, jadi ganti angka ini dengan angka pada tagihan Anda.
  • 30 token per detik untuk generasi bagi satu pengguna. Kecepatan Anda bergantung pada model, kuantisasi, dan kartu grafis.

Tiga tingkat penggunaan, dihitung

Ambil pengguna ringan, sedang, dan berat. Mesin menyala sepanjang hari dalam setiap kasus, sehingga jam diam dihitung.

PenggunaanMenghasilkan per hariEnergi per bulanListrik per bulanToken output per bulan
Ringan1 jam54,9 kWh$8,243,24M
Sedang4 jam90,0 kWh$13,5012,96M
Berat12 jam183,6 kWh$27,5438,88M

Berikut baris sedang langkah demi langkah. Menghasilkan: 4 jam kali 0,45 kW adalah 1,8 kWh sehari. Diam: 20 jam kali 0,06 kW adalah 1,2 kWh sehari. Total 3,0 kWh sehari, jadi 90 kWh selama 30 hari, yang pada $0,15 adalah $13,50. Token: 4 jam adalah 14.400 detik, kali 30 token per detik adalah 432.000 token sehari, atau 12,96M sebulan.

Perhatikan bagaimana pengguna ringan membayar $8,24 hanya untuk 3,24M token. Daya diam adalah sebagian besar tagihan itu: 23 jam diam pada 60 W adalah 1,38 kWh sehari, lebih dari dua kali lipat 0,45 kWh yang dihabiskan untuk menghasilkan.

Berapa biaya token yang sama melalui API

Penggunaan chat mengirim lebih banyak token daripada yang diterima, karena setiap permintaan membawa prompt sistem dan percakapan sejauh ini. Asumsikan tiga token input untuk setiap token output, yang merupakan rasio yang masuk akal untuk chat dengan riwayat. Maka tagihan setiap bulan pada $0,15 dan $0,50 per 1M adalah:

PenggunaanBiaya outputBiaya input (3x token output)Total APIListrik lokal
Ringan3,24M x $0,50 = $1,629,72M x $0,15 = $1,46$3,08$8,24
Sedang12,96M x $0,50 = $6,4838,88M x $0,15 = $5,83$12,31$13,50
Berat38,88M x $0,50 = $19,44116,64M x $0,15 = $17,50$36,94$27,54

Dua hal yang menonjol. Pertama, di bawah sekitar empat jam generasi sehari, API lebih murah daripada listrik saja. Kedua, pada dua belas jam sehari, rig lokal menang pada daya, karena bagian idle menyusut dan Anda menggunakan silikon yang sudah Anda bayar. Angka API juga mencakup pemrosesan input, yang GPU Anda lakukan secara gratis dalam istilah uang tunai tetapi masih menghabiskan energi untuknya. Prefill cepat, jadi saya tidak memasukkannya ke sisi lokal; itu sedikit mendukung lokal.

Listrik per juta token

Cara membandingkan yang berguna adalah biaya energi per 1 juta token output hanya selama generasi. Pada 450 W dan 30 token per detik, satu juta token membutuhkan sekitar 33.333 detik, atau 9,26 jam. Itu adalah 4,17 kWh, dan pada $0,15 per kWh nilainya sekitar $0,63. API mengenakan biaya $0,50 per 1 juta token output, dengan input ditagih terpisah sebesar $0,15.

Jadi bahkan sebelum Anda menghitung GPU, pengguna tunggal yang menghasilkan pada 30 token per detik menghabiskan lebih banyak untuk daya per token keluaran daripada harga API. Selisih itu hanya menyempit jika perangkat keras Anda lebih cepat atau daya Anda lebih murah. Pada 60 token per detik, matematika yang sama memberikan sekitar $0,31. Pada $0,08 per kWh dan 30 token per detik memberikan sekitar $0,33. Perubahan apa pun menggeser jawaban, jadi hitung angka Anda sendiri.

Batching adalah pengecualian. Server yang menangani beberapa permintaan sekaligus menghabiskan lebih sedikit energi per token, itulah sebabnya penyedia yang di-hosting dapat menawarkan harga rendah. Desktop yang digunakan oleh satu orang jarang mendapat manfaat dari hal ini.

Apa yang tidak dimasukkan oleh rumus

  • Perangkat keras. GPU yang menjalankan model yang berguna harganya jauh lebih mahal daripada setahun listrik di atas. Jika disebar sepanjang masa pakainya, biasanya mendominasi total biaya. Halaman berapa biaya LLM membahas sisi pembelian.
  • Pendinginan dan kebisingan. Di iklim yang hangat, panas dari 450 W juga membebani pendingin ruangan Anda. Di musim dingin, panas itu sebagian berguna sebagai pemanas.
  • Model yang lebih besar. Model yang membutuhkan dua kartu hampir menggandakan angka beban.
  • Waktu Anda. Memperbarui driver, memilih kuantisasi, dan memperbaiki error out-of-memory adalah pekerjaan yang dihilangkan oleh API.

Di sisi lain, model lokal tidak memerlukan biaya tambahan per permintaan tambahan dan berfungsi secara offline. Jika Anda menjalankannya selama beberapa jam setiap hari, hal itu sangat penting.

Cara menurunkan tagihan lokal

Jika Anda tetap menggunakan solusi lokal, beberapa kebiasaan memangkas angka tersebut tanpa menyentuh model.

  • Mode tidur. Mengubah daya idle 60 W sepanjang hari menjadi tidur selama 16 dari 20 jam idle menghemat sekitar 29 kWh per bulan dalam kasus moderat, sekitar $4,32 pada $0,15.
  • Batasi batas daya GPU. Banyak kartu kehilangan sedikit kecepatan generasi ketika batas daya diturunkan sebesar 20 hingga 30 persen. Uji kartu Anda sendiri, karena hasilnya bervariasi tergantung model dan driver.
  • Gunakan kuantisasi atau model yang lebih kecil untuk tugas rutin. Lebih sedikit byte per bobot berarti lalu lintas memori yang lebih sedikit dan sering kali generasi yang lebih cepat, yang memperpendek jam kartu sibuk.
  • Jalankan pada tarif waktu penggunaan. Jika utilitas Anda mengenakan biaya lebih murah di malam hari, jadwalkan pekerjaan batch untuk jam-jam tersebut.

Periksa penghematan tidur: 16 jam kali 0,06 kW adalah 0,96 kWh sehari, kali 30 adalah 28,8 kWh, kali $0,15 adalah $4,32. Namun, tidak ada yang mengubah orde besarnya. Listrik tetap menjadi bagian kecil dari total dibandingkan dengan perangkat keras itu sendiri.

Mencoba sisi API dengan angka nyata

Anda dapat memperkirakan estimasi API terhadap beban kerja Anda sendiri dengan murah. Pengguna baru dapat mengklaim $0,50 kredit uji coba dengan satu klik di halaman kunci API setelah pendaftaran, tanpa kartu, berlaku selama 7 hari. Kirim beberapa permintaan realistis, lalu baca header respons X-Balance-USD untuk melihat berapa biayanya.

curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'

Bandingkan saldo sebelum dan sesudah, sesuaikan dengan jumlah permintaan yang Anda harapkan, dan bandingkan dengan estimasi listrik Anda. Tarif saat ini dan bonus isi ulang tercantum di halaman harga, dan detail permintaan ada di dokumentasi.

Tanya jawab

Berapa banyak listrik yang digunakan LLM lokal?

Desktop GPU tunggal biasanya menarik beberapa ratus watt saat menghasilkan dan di bawah 100 W saat siaga. Ukur di stopkontak dengan meteran colok, lalu kalikan dengan jam dan harga listrik per kWh Anda.

Apakah model menganggur sebagian besar waktu?

Untuk sebagian besar pengaturan pribadi, ya. Daya idle bisa lebih besar daripada energi generasi, sehingga mengaktifkan mode tidur PC di antara sesi memotong tagihan.

Apakah LLM lokal lebih murah daripada API?

Pada penggunaan ringan atau sedang, biasanya tidak lebih murah setelah daya dihitung, dan sama sekali tidak setelah perangkat keras dimasukkan. Pada banyak jam generasi harian, penghematan daya saja sudah bisa lebih unggul.

Bisakah saya menguji biaya API tanpa membayar?

Ya. Kredit uji coba satu klik senilai $0,50 tidak memerlukan kartu, dan header saldo menunjukkan berapa biaya setiap permintaan.

uncensoredlocalllm.com

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.