Costo hardware LLM locale: quando un'API è più conveniente
Un modello locale utilizzabile richiede una GPU con molta memoria, un host decente e una bolletta elettrica. Distribuito su tre anni, ammonta a molto di più al mese di quanto la maggior parte delle persone spenda per i token.


Punti chiave
- La memoria sulla GPU, non la velocità grezza, determina cosa puoi eseguire e quanto paghi.
- Con l'allestimento illustrativo di seguito, il punto di pareggio è di circa 232M di token al mese, o circa 18 ore di generazione ogni giorno.
- Un'API vince a volumi bassi e intermittenti; il locale vince per l'uso costante e intenso, la privacy e il lavoro offline.
- Tratta ogni prezzo hardware qui come un segnaposto e controlla i prezzi di mercato attuali.
Cosa determina il prezzo
Il costo hardware del LLM locale è composto principalmente da un componente: la scheda grafica, e specificamente da quanta memoria video ha. I pesi del modello devono entrare nella VRAM, o in una combinazione più lenta di VRAM e RAM di sistema. Una regola approssimativa per i soli pesi è parametri moltiplicati per bit per peso diviso per otto. Un modello con 8 miliardi di parametri a quantizzazione a 4 bit richiede circa 4 GB. Un modello da 70 miliardi a 4 bit richiede circa 35 GB. Oltre a questo, hai bisogno di spazio per la cache KV, che cresce con la lunghezza del contesto, e un po' di overhead.
È per questo che la curva dei prezzi è ripida. Una scheda con 12 GB di memoria esegue modelli piccoli. Una scheda da 24 GB esegue modelli di medie dimensioni con agio. Qualcosa di più grande significa due schede o hardware da workstation. La velocità conta meno della capacità: una scheda più lenta che si adatta al modello batte una scheda più veloce che non si adatta.
Un allestimento base, medio e grande
I prezzi seguenti sono ipotesi illustrative, non preventivi. I prezzi usati e nuovi variano costantemente, quindi sostituiscili con ciò che trovi effettivamente. Il punto è la forma del calcolo.
| Voce | Configurazione piccola | Configurazione media | Configurazione grande |
|---|---|---|---|
| Memoria GPU | 12 GB | 24 GB | 2 x 24 GB |
| GPU (ipotizzata) | $350 | $800 | $1.600 |
| CPU, scheda madre, 32-64 GB RAM, SSD (ipotizzati) | $500 | $600 | $900 |
| Alimentatore, case, raffreddamento (ipotizzati) | $150 | $100 | $200 |
| Totale (ipotizzato) | $1,000 | $1,500 | $2,700 |
Se possiedi già un PC da gaming con una scheda adatta, il tuo costo marginale hardware è zero e il resto di questo articolo si sposta molto a favore del locale. Se stai acquistando nuovo, la tabella è più vicina alla verità.
Trasforma l'acquisto in un costo mensile
Distribui il build su una vita reale e aggiungi la potenza. Il build medio da $1.500 in 36 mesi costa $41,67 al mese. Aggiungi l'elettricità per una macchina che viene utilizzata circa quattro ore al giorno: 450 W sotto carico, 60 W in idle e $0,15 per kWh, per un totale di $13,50 al mese. Totale: $55,17 al mese.
| Configurazione | Hardware al mese (36 mesi) | Energia al mese (4 h/giorno) | Totale al mese |
|---|---|---|---|
| Piccolo | $27,78 | $13,50 | $41,28 |
| Medio | $41,67 | $13,50 | $55,17 |
| Grande | $75,00 | $23,40 | $98,40 |
La figura di potenza del build grande presuppone 800 W sotto carico e 100 W in idle: 3,2 kWh più 2,0 kWh al giorno fanno 5,2 kWh, per 30 giorni sono 156 kWh, moltiplicati per $0,15 fanno $23,40.
Il punto di pareggio rispetto al prezzo per token
Ora converti quella cifra mensile in token. Supponi traffico chat con tre token di input per token di output. Un milione di token di output più tre milioni di token di input costano 1 x $0,50 + 3 x $0,15 = $0,95 per quattro milioni di token, un prezzo medio di $0,2375 per 1M. Per l'allestimento medio:
- $55,17 diviso per $0,2375 per 1M è circa 232M di token al mese al punto di pareggio.
- Un quarto di quello è output: circa 58M di token di output.
- A 30 token al secondo, una macchina produrrebbe circa 77,8M di token di output se girasse a pieno regime per 30 giorni (2,592M di secondi per 30).
58M di token di output a 30 al secondo richiedono 1,94M di secondi, circa 538 ore, che sono 17,9 ore di generazione ogni giorno. Una singola persona che digita prompt non lo fa. Una pipeline batch o un servizio con molti utenti sì.
Dove il locale ha ancora senso
Il punto di pareggio dice che l'API è più conveniente per la maggior parte degli individui. Non dice che il locale sia inutile. Motivi per acquistare comunque hardware:
- Possiedi già la scheda. Allora conta solo l'elettricità.
- Carico costante. Una pipeline che gira tutto il giorno, come la classificazione di massa, può tenere una GPU occupata abbastanza da superare il punto di pareggio.
- Lavoro offline o in rete isolata. Nessuna rete, nessuna fattura per token, nessun dato che esce dall'edificio.
- Sperimentazione con i pesi. Se vuoi modificare le quantizzazioni, unire modelli o eseguire i tuoi fine-tuning, hai bisogno dei file sul tuo disco.
Per una visione più ampia dei costi generali dell'uso di un LLM, consulta la pagina su quanto costa un LLM. Motivi per noleggiare invece: uso a picchi, molte sperimentazioni con diverse dimensioni, la necessità di una finestra di contesto lunga senza acquistare più VRAM, e il non voler mantenere driver e server di inferenza. L'opzione ospitata qui ha una finestra di contesto di 100.000 token, che richiederebbe molta memoria per la cache KV in locale.
Tre persone, tre risposte
I numeri sono più facili da fidare quando corrispondono a una situazione reale. Ecco tre profili, al prezzo di $0,15 e $0,50 per 1M di token con un rapporto input tre a uno.
- L'appassionato chatta per un'ora o due al giorno e invia circa 10M di token in totale al mese. Al prezzo medio di $0,2375 per 1M sono $2,38. Confrontalo con $41,28 al mese anche per la configurazione piccola. L'API è circa diciassette volte più economica.
- Lo sviluppatore esegue un assistente di editing e script di test, per circa 60M di token al mese: $14,25 tramite l'API. Il build medio costa $55,17 al mese, quindi l'API vince ancora di misura a meno che la scheda non fosse già posseduta.
- L'operatore batch classifica documenti ventiquattr'ore su ventiquattro, 400M di token al mese: $95,00 tramite l'API. La configurazione media a $55,17 è più economica se può effettivamente elaborare quel volume, ma a 30 token al secondo di output raggiunge il massimo vicino a 77,8M di token di output al mese, circa 311M di token in totale con lo stesso rapporto. Quindi l'operatore ha bisogno di una seconda scheda o deve accettare un volume inferiore, il che aumenta il costo locale.
Il modello è coerente: l'API vince finché l'uso non è costante e grande, e la capacità locale diventa quindi il collo di bottiglia. Anche la concorrenza differisce. Una chiave completa qui permette 8 richieste concorrenti, mentre una singola GPU desktop di solito serve una richiesta alla volta a piena velocità.
Spendere meno e ciò che la ricevuta non mostra
Modi per spendere meno sull'hardware
- Compra usato. Le schede di generazione precedente con 24 GB di memoria sono spesso il miglior valore per gigabyte. Controlla il venditore e testa la scheda sotto carico all'arrivo.
- Delega gli strati. I motori di inferenza come llama.cpp possono mantenere parte di un modello nella RAM di sistema. Funziona, ma più lentamente, quindi usa questo solo quando la velocità non è importante.
- Scegli un modello più piccolo. Un modello 8B ben ottimizzato su una scheda da 12 GB copre molti compiti quotidiani. Paga per la dimensione solo quando un compito lo richiede.
- Noleggia tempo GPU all'ora. I noleggi di GPU cloud evitano l'acquisto ma hanno le loro tariffe orarie, quindi controlla i prezzi attuali e confrontali con la fatturazione per token.
Costi nascosti che la gente dimentica
- Ammortamento. Le GPU perdono valore di rivendita quando arrivano schede più nuove. La vita di 36 mesi sopra è un'ipotesi.
- Guasti e sostituzioni. Un alimentatore o una ventola morta sono una sorpresa in fattura.
- Aggiornamenti. I nuovi modelli a pesi aperti tendono ad essere più grandi. Una scheda che si adatta al modello preferito di oggi potrebbe non adattarsi a quello dell'anno prossimo.
- Tempo. Configurazione, aggiornamenti e risoluzione dei problemi sono ore reali. Se assegni loro un valore monetario, aggiungili.
- Rumore e calore. Una macchina da 450 W in una stanza piccola è rumorosa e calda.
Nessuno di questi appare su una ricevuta, ed è per questo che un sistema sembra spesso più economico nella testa delle persone di quanto non sia.
Verifica il tuo punto di pareggio
Inserisci i tuoi numeri ed esegui questo. Prende il tuo costo locale mensile totale e calcola il volume mensile di token in cui l'API lo eguaglia, ai prezzi di questo servizio.
local_monthly = 55.17 # hardware per month + electricity
in_price, out_price = 0.15, 0.50 # dollars per 1M tokens
ratio = 3 # input tokens per output token
blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")Se il tuo volume reale è molto inferiore, usa l'API. Per misurare il tuo volume, richiedi il credito di prova nella pagina della chiave API, esegui i tuoi prompt reali contro https://api.uncensoredlocalllm.com/v1 con il modello uncensored e leggi l'utilizzo dei token in ogni risposta. Consulta la documentazione per il formato della richiesta e la pagina dei prezzi per le ricariche.
Altre guide
Domande e risposte
Quanto costa un PC in grado di eseguire un LLM localmente?
Dipende dalla dimensione del modello che vuoi. Con i prezzi segnaposto in questo articolo, una configurazione piccola costa circa $1.000 e una configurazione di fascia media con una scheda da 24 GB circa $1.500. Controlla i prezzi di mercato attuali prima di pianificare.
Ho bisogno di una GPU per eseguire un LLM locale?
No, i modelli piccoli funzionano su una CPU con RAM sufficiente, ma la generazione è molto più lenta. Una GPU con memoria sufficiente per i pesi è ciò che lo rende pratico.
Quando un LLM locale è più economico di un'API?
Quando la macchina è occupata molte ore al giorno, quando possiedi già l'hardware, o quando hai bisogno di un'operazione offline. Ai prezzi in questo articolo la configurazione media raggiunge il punto di pareggio vicino a 18 ore di generazione al giorno.
Posso provare un'API prima di acquistare hardware?
Sì. I nuovi utenti possono richiedere $0,50 di credito di prova senza carta e eseguire i loro prompt reali per vedere la qualità e il costo.
uncensoredlocalllm.com
La tua chiave è a un modulo di distanza
Crea un account, copia la chiave, modifica l'URL di base. È tutta la configurazione.