NL ▾
API-sleutel aanvragen

uncensoredlocalllm.comGids

Lokale LLM-stroomkosten vs. betalen per token

Een model op je eigen GPU draaien is niet gratis: de kaart verbruikt echte stroom tijdens het genereren en de pc blijft wat verbruiken in rust. Hier zie je hoe je het kunt inschatten en wanneer een API op tokenbasis goedkoper is.

Bijgewerkt

Isometrische GPU aangesloten op een stroommeter en munten, illustratie van stroomkosten van lokale LLM's
Isometrische illustratie van een lokale GPU verbonden met een gehoste cloud, die lokale versus API-coderingsmodellen voorstelt

Belangrijkste punten

  • Een setup voor één gebruiker met ongeveer 30 tokens per seconde geeft ongeveer $0,63 aan stroomkosten per 1M gegenereerde tokens, exclusief hardware.
  • Bij licht gebruik is de API goedkoper. Bij zwaar dagelijks gebruik kan een lokale rig het alleen al op stroom overtreffen.
  • Rustverbruik is belangrijker dan de meeste mensen verwachten als de pc de hele dag aanstaat.
  • Hardwareaankoop, niet stroom, bepaalt meestal het echte break-evenpunt.

Het korte antwoord

De lokale LLM-stroomkosten hangen af van drie getallen: hoeveel watt je machine verbruikt tijdens het genereren, hoeveel uur per dag je genereert, en wat je energiebedrijf rekent per kilowattuur. Voor een typische desktop met één GPU ligt het maandbedrag tussen een paar dollar en een paar tientallen dollars. Dat is weinig naast de prijs van de hardware, maar het is niet nul, en het is groot genoeg om een verschil te maken als je het vergelijkt met betalen per token.

De onderstaande berekening gebruikt aannames die je kunt vervangen door je eigen gegevens. De API-kant gebruikt de echte prijzen van deze dienst: $0,15 per 1M inputtokens en $0,50 per 1M outputtokens.

De formule

Stroom is energie vermenigvuldigd met de prijs. Energie in kilowattuur is vermogen in kilowatt vermenigvuldigd met uren.

monthly_kwh  = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwh

Gebruik een stekker-energiemeter als je die hebt. Die meet het totale stroomverbruik van de hele machine aan de wandstekker, wat je precies betaalt. De nominale plaatvermogen van de GPU aflezen op de specificaties geeft slechts een deel van het beeld, omdat de CPU, het geheugen, schijven, ventilatoren en voedingverliezen er nog bij komen.

Voor de voorbeelden neem ik aan:

  • 450 W aan de wandstekker terwijl het model genereert (een kaart met een gespecificeerd vermogen van ongeveer 350 W plus de rest van het systeem).
  • 60 W aan de wandstekker wanneer de pc aanstaat maar inactief is.
  • $0,15 per kWh. Dit is een aanname. Tarieven verschillen sterk per land en per tijdstip van de dag, dus vervang dit door het getal op je factuur.
  • 30 tokens per seconde generatie voor één gebruiker. Je snelheid hangt af van het model, de kwantisering en de kaart.

Drie gebruiksniveaus, uitgewerkt

Neem een lichte, een gemiddelde en een zware gebruiker. De machine staat in elk geval de hele dag aan, dus de uren in rust worden meegerekend.

GebruikGenereren per dagEnergie per maandStroomkosten per maandOutput tokens per maand
Licht1 uur54,9 kWh$8,243,24M
Matig4 uur90,0 kWh$13,5012,96M
Zwaar12 uur183,6 kWh$27,5438,88M

Hier is de gematigde rij stap voor stap. Genereren: 4 uur × 0,45 kW = 1,8 kWh per dag. Rust: 20 uur × 0,06 kW = 1,2 kWh per dag. Totaal 3,0 kWh per dag, dus 90 kWh over 30 dagen, wat bij $0,15 gelijk is aan $13,50. Tokens: 4 uur is 14.400 seconden, vermenigvuldigd met 30 tokens per seconde is 432.000 tokens per dag, of 12,96M per maand.

Merk op dat de lichte gebruiker $8,24 betaalt voor slechts 3,24M tokens. Rustverbruik is het grootste deel van die rekening: 23 uren in rust bij 60 W is 1,38 kWh per dag, meer dan dubbel het 0,45 kWh dat wordt verbruikt tijdens het genereren.

Wat dezelfde tokens via een API kosten

Chatgebruik stuurt meer tokens naar binnen dan het ontvangt, omdat elk verzoek de systeemprompt en het tot nu toe gevoerde gesprek bevat. Ga uit van drie inputtokens voor elke outputtoken, wat een aannemelijke verhouding is voor chat met geschiedenis. Dan is de maandelijkse rekening bij $0,15 en $0,50 per 1M:

GebruikOutput kostenInputkosten (3x outputtokens)API totaalLokale stroomkosten
Licht3,24M x $0,50 = $1,629,72M x $0,15 = $1,46$3,08$8,24
Matig12,96M x $0,50 = $6,4838,88M x $0,15 = $5,83$12,31$13,50
Zwaar38,88M x $0,50 = $19,44116,64M x $0,15 = $17,50$36,94$27,54

Twee dingen springen eruit. Ten eerste is de API goedkoper dan alleen al de stroomkosten bij minder dan ongeveer vier uur generatie per dag. Ten tweede wint de lokale rig het op stroom bij twaalf uur per dag, omdat het rustaandeel krimpt en je de siliconen gebruikt waarvoor je al hebt betaald. Het API-bedrag omvat ook inputverwerking, wat je GPU gratis doet in termen van geld, maar waar wel energie voor wordt verbruikt. Prefill is snel, dus heb ik het aan de lokale kant weggelaten; dat komt de lokale setup lichtjes ten goede.

Stroom per miljoen tokens

Een nuttige manier om te vergelijken is de energiekosten per 1M outputtokens tijdens alleen het genereren. Bij 450 W en 30 tokens per seconde duurt één miljoen tokens ongeveer 33.333 seconden, oftewel 9,26 uur. Dat is 4,17 kWh, en bij $0,15 per kWh is dat ongeveer $0,63. De API rekent $0,50 per 1M outputtokens, met input apart gefactureerd tegen $0,15.

Zelf als je de GPU nog niet meetelt, geeft een enkele gebruiker die genereert met 30 tokens per seconde meer uit aan stroom per output-token dan de API-prijs. Het verschil sluit alleen als je hardware sneller is of je stroom goedkoper. Bij 60 tokens per seconde geeft dezelfde berekening ongeveer $0,31. Bij $0,08 per kWh en 30 tokens per seconde is dat ongeveer $0,33. Elke verandering beïnvloedt het antwoord, dus bereken je eigen cijfers.

Batchen is de uitzondering. Een server die meerdere verzoeken tegelijk afhandelt, verbruikt veel minder energie per token, vandaar dat gehoste providers laag kunnen prijzen. Een desktop die door één persoon wordt gebruikt, profiteert hier zelden van.

Wat de formule laat weg

  • Hardware. Een GPU die een bruikbaar model draait, kost veel meer dan een jaar van de hierboven genoemde elektriciteit. Over de levensduur verdeeld, domineert dit meestal de totale kosten. De pagina over hoeveel een LLM kost gaat over de aanschafkosten.
  • Koeling en geluid. In een warm klimaat zorgt de warmte van 450 W ook voor een extra belasting van je airconditioning. In de winter is het deels nuttige verwarming.
  • Grotere modellen. Een model dat twee kaarten nodig heeft, verdubbelt de lastfiguur ongeveer.
  • Jouw tijd. Stuurprogramma's bijwerken, kwantisaties kiezen en out-of-memory-fouten oplossen is werk dat een API wegneemt.

Aan de andere kant kost een lokaal model niets per extra verzoek en werkt offline. Als je het dagelijks vele uren draait, doet dat er toe.

Manieren om de lokale rekening te verlagen

Als je lokaal blijft, kunnen een paar gewoonten de figuur verlagen zonder aan het model te raken.

  • Zet de machine in de slaapstand. Van 60 W inactief de hele dag naar slaapstand voor 16 van de 20 uren rust bespaar je ongeveer 29 kWh per maand in het gematigde geval, ongeveer $4,32 bij $0,15.
  • Stel een maximum in voor het GPU-vermogen. Veel kaarten verliezen weinig generatiesnelheid als het vermogenslimiet met 20 tot 30 procent wordt verlaagd. Test je eigen kaart, want resultaten variëren per model en stuurprogramma.
  • Gebruik een kleinere kwantisatie of model voor routinetaken. Minder bytes per gewicht betekent minder geheugentransport en vaak snellere generatie, wat de uren dat de kaart bezig is verkort.
  • Draai op een tijdgebaseerd tarief. Als je nutsbedrijf 's nachts minder rekent, plan dan batchtaken voor die uren.

Controleer de slaapbesparing: 16 uur keer 0,06 kW is 0,96 kWh per dag, keer 30 is 28,8 kWh, keer $0,15 is $4,32. Dit verandert echter niets aan de orde van grootte. Elektriciteit blijft een klein deel van de totale kosten naast de hardware zelf.

De API-kant proberen met echte cijfers

Je kunt de API-schatting goedkoop vergelijken met je eigen werklast. Nieuwe gebruikers kunnen na registratie met één klik op de API-sleutel-pagina $0,50 aan proeftegoed claimen, geen creditcard nodig, geldig voor 7 dagen. Stuur een paar realistische verzoeken en lees dan de X-Balance-USD responsiekop om te zien wat ze kosten.

curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'

Vergelijk het saldo voor en na, schaal dit op basis van je verwachte aantal verzoeken en zet dit tegen je elektriciteitsschatting. Huidige tarieven en opwaardeerbonussen staan op de prijzenpagina en verzoekdetails vind je in de docs.

Vragen en antwoorden

Hoeveel elektriciteit verbruikt een lokale LLM?

Een desktop met één GPU verbruikt doorgaans een paar honderd watt tijdens het genereren en goed onder de 100 W in rust. Meet aan de wand met een stekkermeter, vermenigvuldig dit met het aantal uren en je prijs per kWh.

Blijft het model de meeste tijd inactief?

Voor de meeste persoonlijke setup's, ja. Inactief verbruik kan groter zijn dan generatie-energie, dus de pc in slaapstand zetten tussen sessies verlaagt de rekening.

Is een lokale LLM goedkoper dan een API?

Bij licht of matig gebruik meestal niet zodra stroom wordt meegerekend, en helemaal niet zodra hardware wordt meegerekend. Bij vele uren dagelijks genereren kan het alleen al door stroom voordeliger uitkomen.

Kan ik de API-kosten testen zonder te betalen?

Ja. Het trial credit van $0,50 met één klik vereist geen kaart, en de saldobalk toont wat elk verzoek kost.

uncensoredlocalllm.com

Je sleutel is nog maar één formulier verwijderd

Maak een account aan, kopieer de sleutel, pas de base URL aan. Dat is de hele setup.