Berapa Biaya LLM? Perhitungan Per-Token dan Contoh

Tiga cara untuk membayar LLM

Jika Anda bertanya berapa biaya LLM, langkah pertama adalah memilih jenis biaya yang Anda maksud. Ada tiga jenis, dan mereka tidak dapat dibandingkan sampai Anda menyamakan skalanya.

Model	Anda membayar untuk	Bentuk biaya
API Terhosting	Token dikirim dan diterima	Nol saat tidak aktif, bertambah sesuai penggunaan
Langganan chat	Langganan bulanan untuk aplikasi obrolan	Biaya tetap, tanpa akses API dalam kebanyakan kasus
Self-hosting	GPU, daya, penyiapan dan pemeliharaan	Biaya tetap tinggi, biaya per permintaan tambahan rendah

Artikel ini berfokus pada kasus API yang di-hosting, karena ini adalah skenario di mana Anda dapat menghitung jawabannya sebelumnya. Untuk vendor lain, periksa halaman harga mereka saat ini; harga berubah dan tidak diulang di sini.

Rumus biaya API

Setiap permintaan memiliki sisi input (prompt Anda, pesan sistem, dan riwayat obrolan apa pun) dan sisi output (apa yang ditulis model). Keduanya dihitung dalam token, dan satu token kira-kira tiga perempat dari kata bahasa Inggris. Biayanya adalah:

biaya = (token input / 1.000.000 x harga input) + (token output / 1.000.000 x harga output)

Di layanan ini, harga input adalah $0,15 per 1M token dan harga output adalah $0,50 per 1M token. Output sedikit lebih dari tiga kali lebih mahal daripada input, sehingga jawaban panjang jauh lebih mahal daripada pertanyaan panjang.

Berikut adalah satu permintaan yang dilakukan secara manual. Prompt 1.000 token dan balasan 500 token:

• Input: 1.000 / 1.000.000 x $0,15 = $0,00015
• Output: 500 / 1.000.000 x $0,50 = $0,00025
• Total: $0,0004

Itu adalah empat perseratus sen. Skala ke atas: 1.000 permintaan seperti itu biayanya $0,40, dan 100.000 biayanya $40.

Contoh perhitungan untuk beban kerja nyata

Chatbot dukungan

Katakanlah 10.000 percakapan per bulan. Masing-masing mengirim total 3.000 token input (prompt sistem plus riwayat di seluruh giliran) dan menerima 800 token output. Input: 30M token x $0,15 per 1M = $4,50. Output: 8M token x $0,50 per 1M = $4,00. Total bulanan: $8,50.

Meringkas dokumen

Dokumen 50.000 token dan ringkasan 1.000 token. Input: 0,05M x $0,15 = $0,0075. Output: 0,001M x $0,50 = $0,0005. Itu adalah $0,008 per dokumen, sehingga 1.000 dokumen berharga $8,00. Mengisi seluruh jendela konteks 100.000 token hanya dengan input berharga $0,015.

Sesi roleplay atau teman bicara yang panjang

Prompt dimulai pada 500 token dan bertambah 350 token setiap giliran, karena riwayat dikirim ulang. Selama 20 giliran, model membaca 76.500 token input dan menulis 5.000 token output. Input: 0,0765M x $0,15 = sekitar $0,0115. Output: 0,005M x $0,50 = $0,0025. Sekitar $0,014 untuk seluruh sesi.

Klasifier batch

200 token input dan 10 token output per item, satu juta item. Input: 200M x $0,15 per 1M = $30. Output: 10M x $0,50 per 1M = $5. Total: $35. Di sini volumenya besar, tetapi biayanya masih kecil karena outputnya sangat kecil.

Anggaran bulanan pada tiga tingkat penggunaan

Menggunakan permintaan 1.000 input, 500 output seharga $0,0004 per permintaan, berikut adalah gambaran bulan 30 hari pada berbagai volume.

Penggunaan	Permintaan per hari	Permintaan per bulan	Biaya bulanan
Bot hobi	1.000	30.000	$12
Produk kecil	10.000	300.000	$120
Layanan padat	100.000	3.000.000	$1.200

Tabelnya berskala linear, jadi jika permintaan rata-rata Anda dua kali lebih panjang, gandakan biayanya. Bot hobi juga muat dengan mudah dalam top-up minimum: $20 membayar untuk 50.000 permintaan seukuran ini, dan saldo tidak pernah kedaluwarsa, sehingga sisa saldo yang tidak terpakai hanya menunggu.

Mengapa tagihan menjadi lebih tinggi dari estimasi

Estimasi gagal dengan cara yang dapat diprediksi. Periksa hal-hal berikut sebelum Anda memutuskan bahwa sebuah alat mahal.

• Riwayat dikirim ulang setiap giliran. Setiap pesan baru membawa semua pesan sebelumnya. Obrolan 50 giliran bukan 50 permintaan kecil; giliran berikutnya lebih besar. Contoh roleplay di atas menunjukkan pertumbuhan tersebut.
• Output yang panjang. Token output lebih mahal. Jika Anda hanya memerlukan label atau jawaban singkat, sebutkan dalam prompt dan atur max_tokens.
• Percobaan ulang dalam kode Anda sendiri. Loop yang mengirim ulang permintaan setelah timeout dapat menyebabkan pembayaran dua kali. Perhatikan bahwa pada API ini, permintaan yang gagal atau ditolak tidak dikenakan biaya.
• Konteks tempelan yang besar. Memasukkan file 60.000 token ke dalam setiap panggilan mudah dilakukan dan mudah dilupakan.

Cara memangkas biaya

Sebagian besar penghematan berasal dari mengirim lebih sedikit token, bukan dari menemukan model yang lebih murah.

1. Potong atau ringkas giliran chat lama setelah tidak lagi relevan.
2. Masukkan instruksi stabil dalam satu pesan sistem pendek daripada mengulanginya di setiap pesan pengguna.
3. Minta output terstruktur dengan mode JSON (response_format: {"type":"json_object"}) agar Anda tidak membayar untuk teks yang bertele-tele di sekitar data.
4. Gunakan urutan stop untuk mengakhiri generasi di tempat parser Anda membutuhkannya.
5. Kumpulkan item kecil menjadi satu permintaan ketika setiap item sangat kecil.

Anda dapat melacak efeknya secara langsung. Setiap respons menyertakan header X-Balance-USD, dan respons streaming melaporkan penggunaan di akhir. Skrip ini mencetak biaya satu panggilan:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllm.com/v1", api_key="YOUR_API_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain tokens in two sentences."}],
    max_tokens=150,
)
u = r.usage
cost = u.prompt_tokens / 1_000_000 * 0.15 + u.completion_tokens / 1_000_000 * 0.50
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

Estimasi biaya Anda sendiri sebelum membangun

Hitung token asli Anda pada sejumlah permintaan khas, lalu kalikan. Fungsi pendek melakukan aritmatika untuk ukuran rata-rata apa pun.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllm.com/v1", api_key="YOUR_API_KEY")

def monthly_cost(requests_per_month, avg_in, avg_out):
    return requests_per_month * (avg_in * 0.15 + avg_out * 0.50) / 1_000_000

print(monthly_cost(30_000, 1000, 500))    # 12.0
print(monthly_cost(10_000, 3000, 800))    # 8.5

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say hello."}],
    max_tokens=10,
)
print(r.usage.prompt_tokens, r.usage.completion_tokens)

Jalankan dua puluh prompt khas melalui uji coba, hitung rata-rata angka usage, dan masukkan ke dalam fungsi. Itu memberikan angka yang didasarkan pada produk Anda dan bukan contoh generik.

Self-hosting: kapan itu masuk akal

Menjalankan model bobot terbuka sendiri menghilangkan biaya per token, tetapi menggantinya dengan biaya tetap: GPU dengan memori yang cukup, listrik, waktu penyiapan, dan pembaruan. Biaya itu harus dibayar apakah mesin sedang sibuk atau diam. Self-hosting cenderung lebih menguntungkan ketika Anda memiliki volume stabil dan tinggi atau kebutuhan ketat untuk menyimpan semuanya di mesin Anda sendiri. Untuk penggunaan sesekali, lalu lintas yang tidak menentu atau prototipe, membayar per token lebih sederhana dan biasanya lebih murah, karena API yang diam tidak memerlukan biaya apa pun.

Perbandingan yang adil membutuhkan angka Anda sendiri: volume token bulanan Anda, harga perangkat keras, dan nilai waktu Anda. Gunakan rumus di atas untuk sisi API, lalu hitung harga sisi perangkat keras dari penawaran nyata. Jika Anda ingin gambaran yang lebih luas tentang menjalankan model terbuka, panduan obrolan LLM tanpa sensor mencakup opsi integrasi.

Harga dan isi saldo pada layanan ini

Penagihan menggunakan sistem prabayar dan bayar sesuai penggunaan. Anda dapat mengisi saldo dengan jumlah bulat apa pun dari $20 hingga $500, dan top-up yang lebih besar menambahkan bonus: +5% dari $50, +10% dari $100, dan +15% dari $200. Top-up $100 menjadi $110 saldo. Pembayaran dilakukan dalam kripto: USDT pada TRC20 atau USDC pada Base. Saldo tidak pernah kedaluwarsa, dan tidak ada langganan.

Pengguna baru dapat mengklaim $0,50 kredit uji coba gratis dengan satu klik di halaman kunci API. Kredit ini berlaku selama 7 hari, tidak memerlukan detail pembayaran, dan diberikan satu per orang. Pada $0,0004 per permintaan dengan 1.000 token input dan 500 token output, kredit tersebut mencakup sekitar 1.250 permintaan, yang cukup untuk mengukur biaya rata-rata Anda sendiri sebelum Anda membayar apa pun. Halaman harga mencantumkan tarif, dan dokumentasi menunjukkan format permintaan.

Panduan lainnya

• LLM Lokal Terbaik untuk Pemrograman Python: API Lokal atau Terhosting?
• Chat LLM Tanpa Sensor: Panduan Integrasi & Kasus Penggunaan