ES ▾
Obtener clave de API

uncensoredlocalllm.comGuía

Coste de hardware para LLM local: cuándo una API es más barata

Un modelo local utilizable necesita una GPU con mucha memoria, una máquina host decente y una factura de luz. Repartido en tres años, eso es mucho más por mes de lo que la mayoría gasta en tokens.

Actualizado

Balanza de escala que compara el hardware de PC con una nube de tokens, mostrando el coste de hardware de LLM local frente a una API
Ilustración isométrica de una GPU local conectada a una nube alojada, representando modelos de codificación local frente a API

Puntos clave

  • La memoria de la GPU, no la velocidad bruta, determina lo que puedes ejecutar y cuánto pagas.
  • Con la configuración de ejemplo a continuación, el punto de equilibrio es de unos 232M de tokens al mes, o aproximadamente 18 horas de generación cada día.
  • Una API gana en volúmenes bajos e intermitentes; lo local gana para uso constante e intenso, necesidades de privacidad y trabajo sin conexión.
  • Trata cada precio de hardware aquí como un marcador de posición y consulta el mercado actual.

Qué impulsa el precio

El costo de hardware para LLM local es principalmente un componente: la tarjeta gráfica, y específicamente cuánta memoria de video tiene. Los pesos del modelo deben caber en VRAM, o en una mezcla más lenta de VRAM y RAM del sistema. Una regla aproximada para solo los pesos es parámetros por bits por peso dividido entre ocho. Un modelo con 8 mil millones de parámetros en cuantización de 4 bits necesita unos 4 GB. Un modelo de 70 mil millones en 4 bits necesita unos 35 GB. Además, necesitas espacio para el caché KV, que crece con la longitud del contexto, y algo de sobrecarga.

Por eso la curva de precios es empinada. Una tarjeta con 12 GB de memoria ejecuta modelos pequeños. Una tarjeta de 24 GB ejecuta modelos medianos cómodamente. Algo más grande significa dos tarjetas o hardware de estación de trabajo. La velocidad importa menos que la capacidad: una tarjeta más lenta que cabe el modelo supera a una más rápida que no.

Una configuración económica, una de gama media y una grande

Los precios a continuación son suposiciones ilustrativas, no cotizaciones. Los precios de usados y nuevos cambian constantemente, así que reemplázalos con lo que realmente encuentres. El punto es la forma del cálculo.

ÍtemConfiguración pequeñaConfiguración medianaConfiguración grande
Memoria GPU12 GB24 GB2 x 24 GB
GPU (estimada)$350$800$1.600
CPU, placa, 32 a 64 GB RAM, SSD (asumida)$500$600$900
Fuente de alimentación, caja, refrigeración (supuesto)$150$100$200
Total (asumido)$1,000$1,500$2,700

Si ya tienes una PC gamer con una tarjeta adecuada, tu costo marginal de hardware es cero y el resto de este artículo se inclina mucho a favor de lo local. Si estás comprando nuevo, la tabla se acerca más a la realidad.

Convierte la compra en un costo mensual

Distribuye la configuración en una vida útil realista y añade energía. La configuración mediana de $1,500 en 36 meses son $41,67 al mes. Añade electricidad para una máquina que genera unas cuatro horas al día: usando 450 W bajo carga, 60 W en reposo y $0,15 por kWh son $13,50 al mes. Total: $55,17 al mes.

ConfiguraciónHardware por mes (36 meses)Energía por mes (4 h/día)Total por mes
Pequeño$27,78$13,50$41,28
Intermedio$41,67$13,50$55,17
Grande$75,00$23,40$98,40

La cifra de energía de la configuración grande asume 800 W bajo carga y 100 W en reposo: 3.2 kWh más 2.0 kWh al día son 5.2 kWh, multiplicado por 30 son 156 kWh, multiplicado por $0,15 son $23,40.

El punto de equilibrio frente a la tarifa por token

Ahora convierte esa cifra mensual en tokens. Asume tráfico de chat con tres tokens de entrada por token de salida. Un millón de tokens de salida más tres millones de entrada cuestan 1 x $0,50 + 3 x $0,15 = $0,95 por cuatro millones de tokens, un promedio de $0,2375 por 1M. Para la configuración mediana:

  • $55,17 dividido por $0,2375 por 1M son unos 232M de tokens al mes en el punto de equilibrio.
  • Una cuarta parte de eso es salida: aproximadamente 58M de tokens de salida.
  • A 30 tokens por segundo, una máquina produciría unos 77.8M de tokens de salida si funcionara a máxima potencia durante 30 días (2.592M de segundos por 30).

58M de tokens de salida a 30 por segundo toman 1.94M de segundos, aproximadamente 538 horas, lo que es 17.9 horas de generación cada día. Una sola persona escribiendo prompts no hace eso. Una tubería por lotes o un servicio con muchos usuarios sí podría.

Pequeño

Intermedio

  • Ya tienes la tarjeta. Entonces solo cuenta la electricidad.
  • Carga constante. Una tubería que corre todo el día, como la clasificación masiva, puede mantener una GPU ocupada lo suficiente como para superar el punto de equilibrio.
  • Trabajo sin conexión o en red aislada. Sin red, sin facturación por token, sin salida de datos del edificio.
  • Experimentos con pesos. Si quieres cambiar cuantizaciones, fusionar modelos o ejecutar tus propios ajustes finos, necesitas los archivos en tu disco.

Para una visión más amplia de lo que cuestan los LLM en general, consulta la página sobre cuánto cuesta un LLM. Razones para alquilar en lugar de comprar: uso intermitente, muchos experimentos con diferentes tamaños, necesidad de una ventana de contexto larga sin comprar más VRAM, y no querer mantener controladores y servidores de inferencia. La opción alojada aquí tiene una ventana de contexto de 100.000 tokens, lo que requeriría mucha memoria para la caché KV en casa.

Tres personas, tres respuestas

Los números son más creíbles cuando coinciden con una situación real. Aquí hay tres perfiles, valorados en $0,15 y $0,50 por 1M de tokens con una relación de entrada de tres a uno.

  • El aficionado chatea una o dos horas al día y envía un total de unos 10M de tokens al mes. Con el precio combinado de $0,2375 por 1M eso son $2,38. Compara eso con $41,28 al mes incluso para la configuración pequeña. La API es unos diecisiete veces más barata.
  • El desarrollador ejecuta un asistente de editor y scripts de prueba, alrededor de 60M de tokens al mes: $14,25 por la API. La configuración intermedia cuesta $55,17 al mes, por lo que la API sigue ganando por un amplio margen a menos que la tarjeta ya fuera propiedad.
  • El operador por lotes clasifica documentos las 24 horas, 400M de tokens al mes: $95,00 por la API. La configuración intermedia a $55,17 es más barata si realmente puede procesar ese volumen, pero a 30 tokens por segundo de salida, alcanza un máximo de cerca de 77,8M de tokens de salida al mes, aproximadamente 311M de tokens en total con la misma proporción. Así que el operador necesita una segunda tarjeta o debe aceptar un volumen menor, lo que aumenta el costo local.

El patrón es consistente: la API gana hasta que el uso es constante y grande, y la capacidad local se convierte entonces en el cuello de botella. La concurrencia también difiere. Una clave completa aquí permite 8 peticiones simultáneas, mientras que una sola GPU de escritorio generalmente sirve una petición a la vez a máxima velocidad.

Menos gasto, y lo que omite el recibo

Formas de gastar menos en hardware

  • Compra usado. Las tarjetas de la generación anterior con 24 GB de memoria suelen ser el mejor valor por gigabyte. Verifica al vendedor y prueba la tarjeta bajo carga al recibirla.
  • Descarga capas. Los motores de inferencia como llama.cpp pueden mantener parte de un modelo en la RAM del sistema. Funciona, pero más lento, así que úsalo solo cuando la velocidad no sea importante.
  • Elige un modelo más pequeño. Un modelo de 8B bien ajustado en una tarjeta de 12 GB cubre muchas tareas cotidianas. Paga por tamaño solo cuando una tarea lo necesite.
  • Alquila tiempo de GPU por hora. Los alquileres de GPU en la nube evitan la compra pero tienen sus propias tarifas por hora, así que verifica sus precios actuales y compáralos con la facturación por token.

Costos ocultos que la gente olvida

  • Depreciación. Las GPU pierden valor de reventa a medida que llegan tarjetas más nuevas. La vida útil de 36 meses anterior es una estimación.
  • Fallo y reemplazo. Una fuente de alimentación o ventilador muerto es una factura sorpresa.
  • Actualizaciones. Los nuevos modelos de pesos abiertos tienden a ser más grandes. Una tarjeta que cabe en el favorito de hoy puede no caber en el del próximo año.
  • Tiempo. La configuración, las actualizaciones y la depuración son horas reales. Si les das algún valor, agrégalas.
  • Ruido y calor. Una máquina de 450 W en una habitación pequeña es audible y cálida.

Ninguno de estos aparece en un recibo, por lo que una configuración a menudo parece más barata en la mente de las personas de lo que es.

Verifica tu propio punto de equilibrio

Elige tus números y ejecuta esto. Toma tu costo local mensual completo y calcula el volumen mensual de tokens en el que la API lo iguala, con los precios de este servicio.

local_monthly = 55.17        # hardware per month + electricity
in_price, out_price = 0.15, 0.50   # dollars per 1M tokens
ratio = 3                    # input tokens per output token

blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")

Si tu volumen real está muy por debajo de eso, usa la API. Para medir tu volumen, reclama el crédito de prueba en la página de clave de API, ejecuta tus prompts reales contra https://api.uncensoredlocalllm.com/v1 con el modelo uncensored, y lee el uso de tokens en cada respuesta. Consulta la documentación para el formato de la petición y la página de precios para recargar.

Preguntas y respuestas

¿Cuánto cuesta una PC que pueda ejecutar un LLM localmente?

Depende del tamaño del modelo que quieras. Con los precios provisionales en este artículo, un montaje pequeño cuesta unos $1,000 y un montaje intermedio con una tarjeta de 24 GB cuesta unos $1,500. Revisa los precios actuales del mercado antes de planificar.

¿Necesito una GPU para ejecutar un LLM local?

No, los modelos pequeños se ejecutan en una CPU con suficiente RAM, pero la generación es mucho más lenta. Una GPU con suficiente memoria para los pesos es lo que lo hace práctico.

¿Cuándo es un LLM local más barato que una API?

Cuando la máquina está ocupada muchas horas al día, cuando ya posees el hardware, o cuando necesitas operación sin conexión. A los precios de este artículo, la configuración intermedia alcanza el punto de equilibrio cerca de 18 horas de generación al día.

¿Puedo probar una API antes de comprar hardware?

Sí. Los nuevos usuarios pueden reclamar $0,50 de crédito de prueba sin tarjeta y ejecutar sus prompts reales para ver la calidad y el costo.

uncensoredlocalllm.com

Tu clave está a un formulario de distancia

Crea una cuenta, copia la clave, cambia la URL base. Esa es toda la configuración.