PT ▾
Obter chave de API

uncensoredlocalllm.comGuia

Custo de hardware para LLM local: quando uma API é mais barata

Um modelo local utilizável precisa de uma GPU com bastante memória, uma máquina host decente e uma conta de energia. Distribuído em três anos, isso é muito mais por mês do que a maioria das pessoas gasta com tokens.

Atualizado

Balança comparando hardware de PC com nuvem de tokens, mostrando custo de hardware LLM local versus API
Ilustração isométrica de uma GPU local conectada a uma nuvem hospedada, representando modelos de codificação local versus API

Pontos principais

  • A memória na GPU, não a velocidade bruta, define o que você pode rodar e quanto paga.
  • Com a configuração ilustrativa abaixo, o ponto de equilíbrio é cerca de 232M de tokens por mês, ou aproximadamente 18 horas de geração todos os dias.
  • Uma API vence em volume baixo e intermitente; local vence para uso constante intenso, privacidade e trabalho offline.
  • Trate cada preço de hardware aqui como um valor ilustrativo e verifique o mercado atual.

O que define o preço

O custo de hardware LLM local é majoritariamente um componente: a placa de vídeo, especificamente a memória de vídeo. Os pesos do modelo devem caber na VRAM ou em uma mistura mais lenta de VRAM e RAM do sistema. Uma regra prática para os pesos é: parâmetros vezes bits por peso dividido por oito. Um modelo com 8 bilhões de parâmetros em quantização de 4 bits precisa de cerca de 4 GB. Um modelo de 70 bilhões em 4 bits precisa de cerca de 35 GB. Além disso, você precisa de espaço para o cache KV, que cresce com o comprimento do contexto, e alguma sobrecarga.

É por isso que a curva de preço é íngreme. Uma placa com 12 GB de memória roda modelos pequenos. Uma placa de 24 GB roda modelos de tamanho médio com conforto. Qualquer coisa maior significa duas placas ou hardware de estação de trabalho. A velocidade importa menos que a capacidade: uma placa mais lenta que cabe o modelo vence uma placa mais rápida que não cabe.

Uma configuração básica, intermediária e grande

Os preços abaixo são suposições ilustrativas, não orçamentos. Preços de usados e novos mudam constantemente, então substitua-os pelo que você realmente encontrar. O objetivo é a forma do cálculo.

ItemConfiguração básicaConfiguração intermediáriaConfiguração grande
Memória da GPU12 GB24 GB2 x 24 GB
GPU (estimado)$350$800$1,600
CPU, placa-mãe, 32 a 64 GB de RAM, SSD (assumido)$500$600$900
Fonte de alimentação, gabinete, refrigeração (assumido)$150$100$200
Total (estimado)$1,000$1,500$2,700

Se você já tem um PC gamer com uma placa adequada, seu custo marginal de hardware é zero e o restante deste artigo se inclina muito a favor dos modelos locais. Se você está comprando algo novo, a tabela está mais próxima da verdade.

Converta a compra em custo mensal

Distribua o investimento ao longo de um período de vida real e adicione energia. A configuração intermediária de $1.500 em 36 meses resulta em $41,67 por mês. Adicione eletricidade para uma máquina que gera cerca de quatro horas por dia: usando 450 W sob carga, 60 W em repouso e $0,15 por kWh, isso dá $13,50 por mês. Total: $55,17 por mês.

ConfiguraçãoHardware por mês (36 meses)Energia por mês (4 h/dia)Total por mês
Básica$27.78$13.50$41.28
Intermediária$41.67$13.50$55.17
Grande$75.00$23.40$98.40

A figura de energia da configuração grande assume 800 W sob carga e 100 W ocioso: 3,2 kWh mais 2,0 kWh por dia são 5,2 kWh, vezes 30 são 156 kWh, vezes $0,15 são $23,40.

O ponto de equilíbrio contra precificação por token

Agora converta essa figura mensal em tokens. Suponha tráfego de chat com três tokens de entrada por token de saída. Um milhão de tokens de saída mais três milhões de tokens de entrada custam 1 x $0,50 + 3 x $0,15 = $0,95 para quatro milhões de tokens, uma média de $0,2375 por 1M. Para a configuração intermediária:

  • $55,17 dividido por $0,2375 por 1M é cerca de 232M de tokens por mês no ponto de equilíbrio.
  • Um quarto disso é saída: aproximadamente 58M de tokens de saída.
  • A 30 tokens por segundo, uma máquina produziria cerca de 77,8M de tokens de saída se rodasse no máximo por 30 dias (2,592M de segundos vezes 30).

58 milhões de tokens de saída a 30 por segundo levam 1,94 milhão de segundos, cerca de 538 horas, o que é 17,9 horas de geração por dia. Uma única pessoa digitando prompts não faz isso. Um pipeline em lote ou um serviço com muitos usuários pode.

Onde o local ainda faz sentido

O ponto de equilíbrio diz que a API é mais barata para a maioria dos indivíduos. Não diz que o local é inútil. Razões para comprar hardware mesmo assim:

  • Você já possui a placa. Então só a eletricidade conta.
  • Carga constante. Um pipeline que roda o dia todo, como classificação em massa, pode manter uma GPU ocupada o suficiente para atingir o ponto de equilíbrio.
  • Trabalho offline ou em rede isolada. Sem rede, sem conta por token, sem dados saindo do prédio.
  • Experimentos com pesos. Se você quer alterar quantizações, mesclar modelos ou executar seus próprios fine-tunes, precisa dos arquivos no seu disco.

Para uma visão mais ampla dos custos gerais de uso de LLM, consulte a página quanto custa um LLM. Motivos para alugar em vez de comprar: uso intermitente, muitos experimentos com diferentes tamanhos, necessidade de uma janela de contexto longa sem comprar mais VRAM, e não querer manter drivers e servidores de inferência. A opção hospedada aqui tem uma janela de contexto de 100,000 tokens, o que exigiria muita memória para o cache KV em casa.

Três pessoas, três respostas

Números são mais fáceis de confiar quando correspondem a uma situação real. Aqui estão três perfis, com preços de $0,15 e $0,50 por 1M de tokens, com uma proporção de entrada para saída de três para um.

  • O entusiasta conversa por uma ou duas horas por dia e envia cerca de 10M de tokens por mês no total. Com o preço combinado de $0,2375 por 1M, isso dá $2,38. Compare isso com $41,28 por mês até mesmo para a configuração pequena. A API é cerca de dezessete vezes mais barata.
  • O desenvolvedor executa um assistente de editor e scripts de teste, cerca de 60M de tokens por mês: $14,25 pela API. A configuração intermediária custa $55,17 por mês, então a API ainda vence por uma ampla margem, a menos que a placa já tenha sido comprada.
  • O operador de lote classifica documentos o dia todo, 400M de tokens por mês: $95,00 pela API. A configuração intermediária a $55,17 é mais barata se puder realmente processar esse volume, mas a 30 tokens por segundo de saída, ela atinge o limite perto de 77,8M de tokens de saída por mês, cerca de 311M de tokens no total com a mesma proporção. Então o operador precisa de uma segunda placa ou deve aceitar um volume menor, o que aumenta o custo local.

O padrão é consistente: a API vence até que o uso seja constante e grande, e a capacidade local se torna o gargalo. A concorrência também difere. Uma chave completa aqui permite 8 requisições simultâneas, enquanto uma única GPU de desktop geralmente atende uma requisição por vez em velocidade máxima.

Gastar menos e o que o recibo não mostra

Formas de gastar menos com hardware

  • Compre usado. Placas de geração anterior com 24 GB de memória são frequentemente o melhor custo por gigabyte. Verifique o vendedor e teste a placa sob carga ao recebê-la.
  • Descarregue camadas. Motores de inferência como llama.cpp podem manter parte de um modelo na RAM do sistema. Ele funciona, mas mais devagar, então use isso apenas quando a velocidade não for importante.
  • Escolha um modelo menor. Um modelo 8B bem ajustado em uma placa de 12 GB cobre muitas tarefas cotidianas. Pague pelo tamanho apenas quando uma tarefa precisar dele.
  • Alugue tempo de GPU por hora. Aluguéis de GPU na nuvem evitam a compra, mas têm suas próprias taxas horárias, então verifique a precificação atual deles e compare com a cobrança por token.

Custos ocultos que as pessoas esquecem

  • Depreciação. GPUs perdem valor de revenda conforme novas placas chegam. Os 36 meses de vida acima são uma estimativa.
  • Falha e substituição. Uma fonte de alimentação ou ventilador queimado é uma conta surpresa.
  • Atualizações. Novos modelos de pesos abertos tendem a ser maiores. Uma placa que cabe no modelo favorito de hoje pode não caber no do ano que vem.
  • Tempo. Configuração, atualizações e depuração são horas reais. Se você valoriza seu tempo, adicione-as.
  • Ruído e calor. Uma máquina de 450 W em um quarto pequeno é audível e quente.

Nenhum desses itens aparece em um recibo, por isso uma configuração muitas vezes parece mais barata na cabeça das pessoas do que realmente é.

Verifique seu próprio ponto de equilíbrio

Defina seus números e execute isso. Ele pega seu custo mensal total local e exibe o volume mensal de tokens em que a API equivale a esse custo, nos preços deste serviço.

local_monthly = 55.17        # hardware per month + electricity
in_price, out_price = 0.15, 0.50   # dollars per 1M tokens
ratio = 3                    # input tokens per output token

blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")

Se seu volume real for muito abaixo disso, use a API. Para medir seu volume, solicite o crédito de teste na página da chave de API, execute seus prompts reais contra https://api.uncensoredlocalllm.com/v1 com o modelo uncensored e leia o uso de tokens em cada resposta. Veja a documentação para o formato da requisição e a página de preços para recarregar.

Perguntas e respostas

Quanto custa um PC que pode executar um LLM localmente?

Depende do tamanho do modelo que você deseja. Com os preços fictícios neste artigo, uma configuração básica custa cerca de $1.000 e uma configuração intermediária com uma placa de 24 GB custa cerca de $1.500. Verifique os preços atuais do mercado antes de planejar.

Preciso de uma GPU para executar um LLM local?

Não, modelos pequenos podem ser executados em uma CPU com RAM suficiente, mas a geração é muito mais lenta. Uma GPU com memória suficiente para os pesos é o que torna isso prático.

Quando um LLM local é mais barato que uma API?

Quando a máquina está ocupada muitas horas por dia, quando você já possui o hardware ou quando precisa de operação offline. Com os preços neste artigo, a configuração intermediária atinge o ponto de equilíbrio perto de 18 horas de geração por dia.

Posso experimentar uma API antes de comprar hardware?

Sim. Usuários novos podem resgatar $0,50 de crédito de teste sem cartão e executar seus prompts reais para ver a qualidade e o custo.

uncensoredlocalllm.com

Sua chave está a um formulário de distância

Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.