IT ▾
Ottieni la chiave API

uncensoredlocalllm.comGuida

Costo elettrico del LLM locale vs pagamento per token

Eseguire un modello sulla tua GPU non è gratis: la scheda consuma energia reale durante la generazione e il PC continua a consumare qualcosa quando è inattivo. Ecco come stimarlo e quando un’API a token costa meno.

Aggiornato

GPU isometrica collegata a un misuratore di energia e monete, illustra il costo elettrico dei LLM locali
Illustrazione isometrica di una GPU locale collegata a un cloud ospitato, che rappresenta i modelli di codifica locali rispetto a quelli API

Punti chiave

  • Una configurazione per un singolo utente a circa 30 token al secondo spende circa $0,63 di elettricità per 1M di token di output, prima dell’hardware.
  • Con un uso leggero l’API è più economica. Con un uso pesante quotidiano un setup locale può batterla considerando solo il consumo energetico.
  • Il consumo a riposo è più importante di quanto la maggior parte delle persone si aspetti quando il PC resta acceso tutto il giorno.
  • L’acquisto dell’hardware, non l’elettricità, decide solitamente il vero pareggio.

La risposta breve

Il costo elettrico del LLM locale dipende da tre numeri: quanti watt preleva la tua macchina durante la generazione, quante ore al giorno genera e quanto ti addebita il fornitore per kilowattora. Per un desktop tipico a singola GPU la cifra mensile si attesta tra qualche dollaro e qualche decina di dollari. È una cifra piccola rispetto al prezzo dell’hardware, ma non è zero ed è abbastanza alta da contare quando la confronti con il pagamento per token.

Il calcolo sottostante usa assunzioni che puoi sostituire con le tue. Il lato API usa i prezzi reali di questo servizio: $0,15 per 1M di token di input e $0,50 per 1M di token di output.

La formula

L’elettricità è energia per prezzo. L’energia in kilowattora è potenza in kilowatt per ore.

monthly_kwh  = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwh

Usa un misuratore di energia da presa se ne hai uno. Misura l’intera macchina alla presa, che è ciò per cui paghi. Leggere la potenza nominale della scheda dalla sua scheda tecnica dà solo un quadro parziale, perché CPU, memoria, dischi, ventole e perdite dell’alimentatore si aggiungono.

Per gli esempi assumo:

  • 450 W alla presa mentre il modello genera (una scheda classificata vicino a 350 W più il resto del sistema).
  • 60 W alla presa quando il PC è acceso ma inattivo.
  • $0,15 per kWh. Questa è un’assunzione. I tassi variano molto per paese e per ora del giorno, quindi sostituiscilo con il numero in bolletta.
  • 30 token al secondo di generazione per un singolo utente. La tua velocità dipende dal modello, dalla sua quantizzazione e dalla scheda.

Tre livelli di utilizzo, calcolati

Prendi un utente leggero, uno moderato e uno pesante. La macchina resta accesa tutto il giorno in ogni caso, quindi le ore di inattività vengono conteggiate.

UtilizzoGenerazione al giornoEnergia al meseElettricità al meseToken in output al mese
Leggera1 ora54,9 kWh$8,243,24M
Moderata4 ore90,0 kWh$13,5012,96M
Pesante12 ore183,6 kWh$27,5438,88M

Ecco la riga moderata passo per passo. Generazione: 4 ore per 0,45 kW sono 1,8 kWh al giorno. Inattività: 20 ore per 0,06 kW sono 1,2 kWh al giorno. Totale 3,0 kWh al giorno, quindi 90 kWh in 30 giorni, che a $0,15 sono $13,50. Token: 4 ore sono 14.400 secondi, per 30 token al secondo sono 432.000 token al giorno, o 12,96M al mese.

Nota come l’utente leggero paga $8,24 per soli 3,24M di token. L’energia inattiva è la maggior parte di quella bolletta: 23 ore di inattività a 60 W sono 1,38 kWh al giorno, più del doppio dei 0,45 kWh spesi generando.

Quanto costano gli stessi token tramite un’API

L’uso della chat invia più token di quanti ne riceve, perché ogni richiesta trasporta il prompt di sistema e la conversazione finora. Assume tre token di input per ogni token di output, che è un rapporto plausibile per la chat con cronologia. Poi ogni bolletta mensile a $0,15 e $0,50 per 1M è:

UtilizzoCosto outputCosto input (3x token output)Totale APIElettricità locale
Leggera3,24M x $0,50 = $1,629,72M x $0,15 = $1,46$3,08$8,24
Moderata12,96M x $0,50 = $6,4838,88M x $0,15 = $5,83$12,31$13,50
Pesante38,88M x $0,50 = $19,44116,64M x $0,15 = $17,50$36,94$27,54

Due cose spiccano. Primo, sotto le quattro ore di generazione al giorno, l’API è più economica della sola elettricità. Secondo, a dodici ore al giorno la configurazione locale vince sull’energia, perché la quota di inattività si riduce e usi il silicio che hai già pagato. La cifra API include anche l’elaborazione dell’input, che la tua GPU fa gratuitamente in termini di denaro ma che consuma comunque energia. Il prefill è veloce, quindi l’ho escluso dal lato locale; questo favorisce leggermente il locale.

Elettricità per milione di token

Un modo utile per confrontare è il costo energetico per 1 milione di token di output durante la sola generazione. A 450 W e 30 token al secondo, un milione di token richiedono circa 33.333 secondi, ovvero 9,26 ore. Si tratta di 4,17 kWh, che a $0,15 per kWh costano circa $0,63. L'API addebita $0,50 per 1 milione di token di output, con l'input fatturato a parte a $0,15.

Quindi, anche senza contare la GPU, un singolo utente che genera a 30 token al secondo spende di più in energia per ogni token prodotto rispetto al prezzo dell'API. Il divario si riduce solo se l'hardware è più veloce o l'energia costa meno. A 60 token al secondo lo stesso calcolo dà circa $0,31. A $0,08 per kWh e 30 token al secondo il risultato è circa $0,33. Qualsiasi di questi cambiamenti cambia la risposta, quindi fai i tuoi calcoli.

Il batching è l'eccezione. Un server che gestisce più richieste contemporaneamente consuma molta meno energia per token, ed è per questo che i provider in hosting possono offrire prezzi bassi. Un desktop usato da una persona sola raramente ne trae beneficio.

Cosa lascia fuori la formula

  • Hardware. Una GPU che esegue un modello utile costa ben più di un anno di elettricità calcolato sopra. Ammortizzata sulla sua vita utile, di solito domina il totale. La pagina su quanto costa un LLM analizza la parte degli acquisti.
  • Raffreddamento e rumore. In un clima caldo il calore di 450 W affatica anche il tuo condizionatore. In inverno è invece riscaldamento parzialmente utile.
  • Modelli più grandi. Un modello che richiede due schede raddoppia circa il carico stimato.
  • Il tuo tempo. Aggiornare i driver, scegliere le quantizzazioni e risolvere gli errori di memoria insufficiente è lavoro che un’API elimina.

Dall'altro lato, un modello locale non costa nulla per ogni richiesta extra e funziona offline. Se lo esegui per molte ore al giorno, questo conta.

Modi per abbassare il costo locale

Se resti locale, alcune abitudini riducono il costo senza toccare il modello.

  • Metti in sospensione il computer. Passare da 60 W di inattività tutto il giorno alla sospensione per 16 delle 20 ore di inattività risparmia circa 29 kWh al mese nel caso moderato, circa $4,32 a $0,15.
  • Limita il limite di potenza della GPU. Molte schede perdono poca velocità di generazione quando il limite di potenza viene abbassato del 20-30 percento. Fai i test sulla tua scheda, perché i risultati variano in base al modello e al driver.
  • Usa una quantizzazione o un modello più piccolo per le attività di routine. Meno byte per peso significano meno traffico di memoria e spesso una generazione più veloce, il che riduce le ore in cui la scheda è occupata.
  • Esegui con una tariffa oraria. Se il tuo fornitore di energia addebita meno di notte, pianifica i lavori batch per quelle ore.

Verifica il risparmio in sospensione: 16 ore per 0,06 kW sono 0,96 kWh al giorno, per 30 giorni sono 28,8 kWh, per $0,15 sono $4,32. Questo non cambia l’ordine di grandezza. L’elettricità resta una piccola parte del totale rispetto all’hardware stesso.

Provare il lato API con numeri reali

Puoi verificare la stima dell'API rispetto al tuo carico di lavoro a basso costo. I nuovi utenti possono richiedere $0,50 di credito di prova con un clic nella pagina della chiave API dopo l'accesso, senza carta, valido per 7 giorni. Invia alcune richieste realistiche, quindi leggi l'intestazione di risposta X-Balance-USD per vedere quanto costano.

curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'

Confronta il saldo prima e dopo, scala in base al numero previsto di richieste e confrontalo con la tua stima dei costi elettrici. Le tariffe attuali e i bonus di ricarica sono elencati nella pagina dei prezzi, e i dettagli della richiesta sono nella documentazione.

Domande e risposte

Quanta elettricità usa un LLM locale?

Un desktop con una singola GPU consuma solitamente qualche centinaio di watt durante la generazione e ben meno di 100 W a riposo. Misura alla presa con un contatore da presa, poi moltiplica per le ore e il tuo prezzo per kWh.

Il modello rimane inattivo per la maggior parte del tempo?

Per la maggior parte delle configurazioni personali, sì. Il consumo a riposo può essere maggiore dell’energia di generazione, quindi mettere il PC in sospensione tra le sessioni riduce la bolletta.

Un LLM locale è più economico di un'API?

Con un uso leggero o moderato, di solito no una volta conteggiata l'energia, e per nulla una volta incluso l'hardware. Con molte ore di generazione quotidiana può risultare più conveniente considerando solo il costo dell'energia.

Posso testare il costo dell'API senza pagare?

Sì. Il credito di prova da $0,50 con un solo clic non richiede carta, e l’intestazione del saldo mostra quanto è costata ogni richiesta.

uncensoredlocalllm.com

La tua chiave è a un modulo di distanza

Crea un account, copia la chiave, modifica l'URL di base. È tutta la configurazione.