NL ▾
API-sleutel aanvragen

uncensoredlocalllm.comGids

Lokale LLM-hardwarekosten: Wanneer een API goedkoper is

Een bruikbaar lokaal model heeft een GPU met veel geheugen, een degelijke hostmachine en een energierekening. Verspreid over drie jaar is dat veel meer per maand dan de meeste mensen aan tokens uitgeven.

Bijgewerkt

Balansschaal die pc-hardware afzet tegen een wolk van tokens, die de lokale LLM-hardwarekosten toont versus een API
Isometrische illustratie van een lokale GPU verbonden met een gehoste cloud, die lokale versus API-coderingsmodellen voorstelt

Belangrijkste punten

  • Geheugen op de GPU, niet de ruwe snelheid, bepaalt wat je kunt draaien en wat je betaalt.
  • Met de onderstaande voorbeeldbuild is de break-even ongeveer 232M tokens per maand, of ongeveer 18 uur generatie per dag.
  • Een API wint bij laag en bursty volume; lokaal wint bij constante zware belasting, privacybehoeften en offline werk.
  • Beschouw elke hardwareprijs hier als een placeholder en controleer de huidige markt.

Wat drijft de prijs

De lokale LLM-hardwarekosten bestaan grotendeels uit één component: de graphics card, en specifiek hoeveel video-geheugen deze heeft. De model weights moeten in VRAM passen, of in een langzamere mix van VRAM en systeem-RAM. Een ruwe regel voor alleen de weights is parameters keer bits per weight gedeeld door acht. Een model met 8 miljard parameters bij 4-bit quantization heeft ongeveer 4 GB nodig. Een 70 miljard model bij 4-bit heeft ongeveer 35 GB nodig. Daarbovenop heb je ruimte nodig voor de KV cache, die groeit met de contextlengte, en enige overhead.

Daarom is de prijscurve steil. Een kaart met 12 GB geheugen draait kleine modellen. Een kaart met 24 GB draait modellen van gemiddelde grootte comfortabel. Alles daarboven betekent twee kaarten of workstation-hardware. Snelheid is minder belangrijk dan capaciteit: een langzamere kaart die bij het model past, wint het van een snellere kaart die dat niet doet.

Een budgetconfiguratie, een middenklasseconfiguratie en een grote configuratie

De prijzen hieronder zijn illustratieve aannames, geen offertes. Gebruikte en nieuwe prijzen veranderen constant, dus vervang ze door wat je echt vindt. Het punt is de vorm van de berekening.

ArtikelKleine configuratieMiddenconfiguratieGrote configuratie
GPU-geheugen12 GB24 GB2 x 24 GB
GPU (aangenomen)$350$800$1,600
CPU, moederbord, 32 tot 64 GB RAM, SSD (aangenomen)$500$600$900
Voeding, behuizing, koeling (aangenomen)$150$100$200
Totaal (aangenomen)$1,000$1,500$2,700

Als je al een gaming-pc hebt met een geschikte kaart, zijn je marginale hardwarekosten nul en verschuift de rest van dit artikel sterk ten gunste van lokaal. Als je nieuw koopt, ligt de tabel dichter bij de waarheid.

Zet de aanschaf om in een maandelijkse kostenpost

Verspreid de bouw over een realistische levensduur, en voeg stroom toe. De mid-build van $1.500 over 36 maanden is $41,67 per maand. Tel elektriciteit toe voor een machine die ongeveer vier uur per dag draait: 450 W onder belasting, 60 W in rust en $0,15 per kWh is $13,50 per maand. Totaal: $55,17 per maand.

ConfiguratieHardware per maand (36 maanden)Stroom per maand (4 h/dag)Totaal per maand
Klein$27,78$13,50$41,28
Mid$41,67$13,50$55,17
Groot$75,00$23,40$98,40

Het stroomverbruik van de grote configuratie gaat uit van 800 W onder belasting en 100 W in ruststand: 3,2 kWh plus 2,0 kWh per dag is 5,2 kWh, keer 30 is 156 kWh, keer $0,15 is $23,40.

Het break-evenpunt tegen het per-token tarief

Zet dat maandbedrag nu om in tokens. Ga uit van chatverkeer met drie input tokens per output token. Een miljoen output tokens plus drie miljoen input tokens kosten 1 x $0,50 + 3 x $0,15 = $0,95 voor vier miljoen tokens, een gewogen gemiddelde van $0,2375 per 1M. Voor de mid-build:

  • $55,17 gedeeld door $0,2375 per 1M is ongeveer 232M tokens per maand bij break-even.
  • Een kwart daarvan is output: ongeveer 58M output tokens.
  • Bij 30 tokens per seconde zou één machine ongeveer 77,8M output tokens produceren als deze 30 dagen lang op volle toeren draait (2,592 miljoen seconden keer 30).

58M output tokens bij 30 per seconde neemt 1,94 miljoen seconden in beslag, ongeveer 538 uur, wat 17,9 uur generatie per dag is. Een enkele persoon die prompts typt, doet dat niet. Een batch pipeline of een service met veel gebruikers misschien wel.

Waar lokaal nog steeds zin heeft

De break-even zegt dat de API goedkoper is voor de meeste individuen. Het zegt niet dat lokaal zinloos is. Redenen om toch hardware te kopen:

  • Je hebt de kaart al. Dan telt alleen elektriciteit.
  • Constante belasting. Een pipeline die de hele dag draait, zoals bulkclassificatie, kan een GPU genoeg bezighouden om de break-even te halen.
  • Offline of air-gapped werk. Geen netwerk, geen per-token factuur, geen data die het gebouw verlaat.
  • Experimenten met weights. Als je kwantisaties wilt aanpassen, modellen wilt mergen of je eigen fine-tunes wilt draaien, heb je de bestanden op je schijf nodig.

Voor een breder overzicht van wat LLM-gebruik in het algemeen kost, zie de pagina over hoeveel een LLM kost. Redenen om te huren in plaats van lokaal: bursty gebruik, veel experimenten met verschillende maten, een behoefte aan lange context zonder meer VRAM te kopen, en drivers en inferentieservers niet willen onderhouden. De gehoste optie hier heeft een contextvenster van 100.000 tokens, wat thuis veel geheugen zou vereisen voor de KV-cache.

Drie mensen, drie antwoorden

Cijfers zijn makkelijker te vertrouwen als ze overeenkomen met een echte situatie. Hier zijn drie profielen, geprijsd op $0,15 en $0,50 per 1M tokens met een input-verhouding van drie-op-één.

  • De hobbyist chat een uur of twee per dag en stuurt in totaal ongeveer 10M tokens per maand. Bij het gemengde tarief van $0,2375 per 1M is dat $2,38. Vergelijk dat met $41,28 per maand voor zelfs de kleine build. De API is ongeveer zeventien keer goedkoper.
  • De developer draait een editor-assistent en testscripts, ongeveer 60M tokens per maand: $14,25 via de API. De mid build kost $55,17 per maand, dus de API wint nog steeds ruimschoots, tenzij de kaart al in bezit was.
  • De batch operator classificeert documenten 24/7, 400M tokens per maand: $95,00 via de API. De mid build bij $55,17 is goedkoper als deze dat volume daadwerkelijk kan verwerken, maar bij 30 tokens per seconde output stopt hij rond 77,8M output tokens per maand, ongeveer 311M tokens in totaal met dezelfde verhouding. Dus de operator heeft een tweede kaart nodig of moet een lager volume accepteren, wat de lokale kosten verhoogt.

Het patroon is consistent: de API wint totdat het gebruik constant en groot is, en dan wordt de lokale capaciteit de bottleneck. Concurrency verschilt ook. Een volledige key hier staat 8 gelijktijdige verzoeken toe, terwijl een enkele desktop-GPU meestal één verzoek tegelijk op volle snelheid bedient.

Minder uitgeven, en wat de bon mist

Manieren om minder uit te geven aan hardware

  • Koop tweedehands. Kaarten van de vorige generatie met 24 GB geheugen zijn vaak de beste waarde per gigabyte. Controleer de verkoper en test de kaart onder belasting bij aankomst.
  • Offload lagen. Inference engines zoals llama.cpp kunnen een deel van een model in het systeemgeheugen houden. Het draait, maar langzamer, dus gebruik dit alleen als snelheid niet uitmaakt.
  • Kies een kleiner model. Een goed getuned 8B-model op een 12 GB-kaart dekt veel dagelijkse taken. Betaal alleen voor de grootte als een taak dat vereist.
  • Huur GPU-tijd per uur. Cloud-GPU-verhuur vermijden de aankoop, maar hebben hun eigen uurtarieven, dus controleer hun huidige prijzen en vergelijk deze met per-token facturatie.

Verborgen kosten die mensen vergeten

  • Waardevermindering. GPUs verliezen verkoopwaarde naarmate er nieuwere kaarten verschijnen. De 36-maanden levensduur hierboven is een schatting.
  • Defecten en vervanging. Een dode voeding of ventilator is een verrassende rekening.
  • Upgrades. Nieuwe open-weight modellen zijn vaak groter. Een kaart die past bij je favoriete model van vandaag, past misschien niet bij dat van volgend jaar.
  • Tijd. Setup, updates en debuggen zijn echte uren. Als je ze iets waard vindt, voeg ze dan toe.
  • Geluid en warmte. Een machine van 450 W in een kleine kamer is hoorbaar en warm.

Geen van deze posten verschijnt op een bon, waardoor een rig in iemands hoofd vaak goedkoper lijkt dan hij is.

Bereken je eigen break-even

Kies je cijfers en voer dit uit. Het neemt je totale maandelijkse lokale kosten en print het maandelijkse tokenvolume waarbij de API dat matcht, tegen de prijzen van deze service.

local_monthly = 55.17        # hardware per month + electricity
in_price, out_price = 0.15, 0.50   # dollars per 1M tokens
ratio = 3                    # input tokens per output token

blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")

Als je werkelijke volume daar ver onder ligt, gebruik dan de API. Om je volume te meten, claim het proeftegoed op de API-sleutelpagina, voer je echte prompts uit tegen https://api.uncensoredlocalllm.com/v1 met model uncensored, en lees het tokengebruik in elke response. Zie de docs voor het request-formaat en de prijzenpagina voor top-ups.

Vragen en antwoorden

Hoeveel kost een pc die een LLM lokaal kan draaien?

Het hangt af van de modelgrootte die je wilt. Met de placeholder-prijzen in dit artikel is een kleine build ongeveer $1,000 en een middelgrote build met een 24 GB-kaart ongeveer $1,500. Controleer de huidige marktprijzen voordat je plant.

Heb ik een GPU nodig om een lokale LLM te draaien?

Nee, kleine modellen draaien op een CPU met genoeg RAM, maar de generatie is veel langzamer. Een GPU met genoeg geheugen voor de gewichten is wat het praktisch maakt.

Wanneer is een lokale LLM goedkoper dan een API?

Wanneer de machine veel uren per dag bezig is, wanneer je de hardware al in bezit hebt, of wanneer je offline operatie nodig hebt. Bij de prijzen in dit artikel breekt de mid build break-even bij ongeveer 18 genererende uren per dag.

Kan ik een API proberen voordat ik hardware koop?

Ja. Nieuwe gebruikers kunnen $0,50 trial credit claimen zonder kaart en hun echte prompts uitvoeren om de kwaliteit en kosten te zien.

uncensoredlocalllm.com

Je sleutel is nog maar één formulier verwijderd

Maak een account aan, kopieer de sleutel, pas de basis-URL aan. Dat is de hele setup.