Custo de energia de LLM local vs. pagamento por token
Rodar um modelo na sua própria GPU não é de graça: a placa consome energia real enquanto gera e o PC continua consumindo algo quando está ocioso. Veja como estimar isso e quando uma API por token custa menos.


Pontos principais
- Uma configuração para um único usuário a cerca de 30 tokens por segundo gasta cerca de $0,63 de eletricidade por 1M de tokens de saída, antes do hardware.
- Com uso leve, a API é mais barata. Com uso intenso diário, um rig local pode vencer só no consumo de energia.
- O consumo ocioso importa mais do que a maioria espera quando o PC fica ligado o dia todo.
- A compra do hardware, não a eletricidade, geralmente define o ponto de equilíbrio real.
A resposta curta
O custo de eletricidade do modelo local LLM depende de três números: quantos watts sua máquina puxa enquanto gera, quantas horas por dia ela gera e quanto sua concessionária cobra por quilowatt-hora. Para um desktop típico com uma única GPU, o valor mensal fica entre alguns dólares e algumas dezenas de dólares. Isso é pouco perto do preço do hardware, mas não é zero, e é alto o suficiente para importar quando você compara com pagar por token.
O cálculo abaixo usa suposições que você pode trocar pelas suas. O lado da API usa os preços reais deste serviço: $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída.
A fórmula
Eletricidade é energia vezes preço. Energia em quilowatt-horas é potência em quilowatts vezes horas.
monthly_kwh = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwhUse um medidor de energia plug-in se tiver um. Ele mede a máquina inteira na tomada, que é o que você paga. Ler a potência de placa da GPU na folha de especificações dá apenas parte do quadro, porque a CPU, memória, drives, ventiladores e perdas da fonte somam a isso.
Para os exemplos, assumo:
- 450 W na tomada enquanto o modelo gera (uma placa classificada perto de 350 W mais o resto do sistema).
- 60 W na tomada quando o PC está ligado mas ocioso.
- $0,15 por kWh. Esta é uma suposição. As tarifas variam muito por país e por horário do dia, então substitua pelo número da sua conta de luz.
- 30 tokens por segundo de geração para um único usuário. Sua velocidade depende do modelo, de sua quantização e da placa.
Três níveis de uso, calculados
Pegue um usuário leve, um moderado e um pesado. A máquina fica ligada o dia todo em cada caso, então as horas ociosas são computadas.
| Uso | Geração por dia | Energia por mês | Eletricidade por mês | Tokens de saída por mês |
|---|---|---|---|---|
| Leve | 1 hora | 54,9 kWh | $8.24 | 3,24M |
| Moderada | 4 horas | 90,0 kWh | $13.50 | 12,96M |
| Pesado | 12 horas | 183,6 kWh | $27.54 | 38,88M |
Aqui está a linha moderada passo a passo. Gerando: 4 horas vezes 0,45 kW são 1,8 kWh por dia. Ocioso: 20 horas vezes 0,06 kW são 1,2 kWh por dia. Total 3,0 kWh por dia, então 90 kWh em 30 dias, que a $0,15 é $13,50. Tokens: 4 horas são 14.400 segundos, vezes 30 tokens por segundo são 432.000 tokens por dia, ou 12,96M por mês.
Note como o usuário leve paga $8,24 por apenas 3,24M de tokens. A potência ociosa é a maior parte dessa conta: 23 horas ociosas a 60 W são 1,38 kWh por dia, mais do que o dobro dos 0,45 kWh gastos gerando.
O custo dos mesmos tokens via API
O uso de chat envia mais tokens do que recebe, porque cada requisição carrega o prompt do sistema e a conversa até agora. Suponha três tokens de entrada para cada token de saída, que é uma proporção plausível para chat com histórico. Então a conta mensal a $0,15 e $0,50 por 1M é:
| Uso | Custo de saída | Custo de entrada (3x tokens de saída) | Total da API | Eletricidade local |
|---|---|---|---|---|
| Leve | 3,24M x $0,50 = $1,62 | 9,72M x $0,15 = $1,46 | $3.08 | $8.24 |
| Moderada | 12,96M x $0,50 = $6,48 | 38,88M x $0,15 = $5,83 | $12.31 | $13.50 |
| Pesado | 38,88M x $0,50 = $19,44 | 116,64M x $0,15 = $17,50 | $36.94 | $27.54 |
Duas coisas se destacam. Primeiro, abaixo de cerca de quatro horas de geração por dia, a API é mais barata que a eletricidade sozinha. Segundo, em doze horas por dia, o rig local vence no consumo de energia, porque a parte ociosa diminui e você está usando o silício que já pagou. O valor da API também inclui o processamento de entrada, que sua GPU faz de graça em termos de dinheiro, mas ainda gasta energia. O pré-filling é rápido, então eu o deixei de fora do lado local; isso favorece ligeiramente o local.
Eletricidade por milhão de tokens
Uma maneira útil de comparar é o custo de energia por 1M de tokens de saída durante a geração apenas. A 450 W e 30 tokens por segundo, um milhão de tokens levam cerca de 33,333 segundos, ou 9,26 horas. Isso são 4,17 kWh, e a $0,15 por kWh fica cerca de $0,63. A API cobra $0,50 por 1M de tokens de saída, com entrada cobrada separadamente a $0,15.
Então mesmo antes de contar a GPU, um usuário único gerando a 30 tokens por segundo gasta mais em energia por token de saída do que o preço da API. A lacuna fecha só se seu hardware for mais rápido ou sua energia mais barata. A 60 tokens por segundo a mesma matemática dá cerca de $0,31. A $0,08 por kWh e 30 tokens por segundo dá cerca de $0,33. Qualquer mudança move a resposta, então faça seus próprios números.
O batching é a exceção. Um servidor que processa várias requisições ao mesmo tempo gasta muito menos energia por token, razão pela qual os provedores hospedados podem cobrar menos. Um desktop usado por uma pessoa raramente se beneficia disso.
O que a fórmula deixa de fora
- Hardware. Uma GPU que roda um modelo útil custa muito mais do que um ano da eletricidade acima. Distribuído ao longo de sua vida útil, geralmente domina o total. A página sobre quanto custa um LLM aborda o lado da compra.
- Resfriamento e ruído. Em um clima quente, o calor de 450 W também sobrecarrega seu ar-condicionado. No inverno, é parcialmente aquecimento útil.
- Modelos maiores. Um modelo que precisa de duas placas duplica aproximadamente o valor da carga.
- Seu tempo. Atualizar drivers, escolher quantizações e corrigir erros de falta de memória é trabalho que uma API elimina.
Por outro lado, um modelo local custa nada por requisição extra e funciona offline. Se você o executa por muitas horas diariamente, isso faz diferença.
Formas de reduzir a conta local
Se você ficar local, alguns hábitos reduzem o valor sem tocar no modelo.
- Coloque a máquina em suspensão. Passar de 60 W ocioso o dia todo para suspensão por 16 das 20 horas ociosas poupa cerca de 29 kWh por mês no caso moderado, o que equivale a $4,32 a $0,15.
- Limite o limite de energia da GPU. Muitas placas perdem pouco na velocidade de geração quando o limite de energia é reduzido em 20 a 30 por cento. Teste sua própria placa, porque os resultados variam por modelo e driver.
- Use uma quantização ou modelo menor para tarefas rotineiras. Menos bytes por peso significam menos tráfego de memória e, muitas vezes, geração mais rápida, o que encurta as horas em que a placa está ocupada.
- Execute em uma tarifa de uso por horário. Se sua concessionária cobra menos à noite, agende trabalhos em lote para essas horas.
Verifique a economia com suspensão: 16 horas vezes 0,06 kW são 0,96 kWh por dia, vezes 30 são 28,8 kWh, vezes $0,15 são $4,32. Nada disso muda a ordem de grandeza, embora. A eletricidade continua sendo uma pequena parte do total perto do próprio hardware.
Testando o lado da API com números reais
Você pode verificar a estimativa da API contra sua própria carga de trabalho de forma barata. Novos usuários podem reivindicar $0,50 de crédito de teste grátis com um clique na página da chave de API após o cadastro, sem necessidade de cartão, válido por 7 dias. Envie algumas requisições realistas e leia o cabeçalho de resposta X-Balance-USD para ver quanto elas custam.
curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'Compare o saldo antes e depois, ajuste pela quantidade esperada de requisições e compare com sua estimativa de energia. As taxas atuais e bônus de recarga estão listados na página de preços, e os detalhes das requisições estão na documentação.
Mais guias
Perguntas e respostas
Quanta eletricidade um LLM local consome?
Um desktop com uma única GPU geralmente consome algumas centenas de watts durante a geração e bem menos de 100 W ocioso. Meça na tomada com um medidor de energia e multiplique por horas e seu preço por kWh.
O modelo fica ocioso a maior parte do tempo?
Para a maioria das configurações pessoais, sim. O consumo ocioso pode ser maior que a energia de geração, então colocar o PC para dormir entre as sessões reduz a conta.
Um LLM local é mais barato que uma API?
Com uso leve ou moderado, geralmente não, uma vez que a energia é considerada, e nem uma vez que o hardware é incluído. Com muitas horas de geração diária, pode sair à frente só no consumo de energia.
Posso testar o custo da API sem pagar?
Sim. O crédito de teste de um clique de $0,50 não precisa de cartão, e o cabeçalho de saldo mostra quanto cada requisição custou.
uncensoredlocalllm.com
Sua chave está a um formulário de distância
Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.