DE ▾
API-Schlüssel erhalten

uncensoredlocalllm.comGuide

Stromkosten für lokales LLM vs. Bezahlung pro Token

Ein Modell auf deiner eigenen GPU zu betreiben, ist nicht kostenlos: Die Grafikkarte zieht während der Generierung echte Leistung, und der PC verbraucht auch im Leerlauf Strom. So schätzt du den Verbrauch ab und erkennst, wann eine API nach Token günstiger ist.

Aktualisiert

Isometrische GPU an einem Stromzähler und Münzen, die die Stromkosten lokaler LLMs veranschaulicht
Isometrische Illustration einer lokalen GPU, die mit einer gehosteten Cloud verbunden ist, die lokale versus API-Coding-Modelle darstellt

Wichtige Punkte

  • Ein Einzelnutzer-Setup bei etwa 30 Token pro Sekunde gibt etwa $0,63 Stromkosten pro 1 Mio. generierte Token aus, ohne Hardwarekosten.
  • Bei leichter Nutzung ist die API günstiger. Bei intensiver täglicher Nutzung kann eine lokale Anlage allein beim Strom günstiger sein.
  • Der Leerlaufverbrauch ist wichtiger, als die meisten erwarten, wenn der PC den ganzen Tag an bleibt.
  • Der Hardware-Kauf, nicht der Strom, entscheidet meist über den echten Break-even-Punkt.

Die kurze Antwort

Die Stromkosten für das lokale LLM hängen von drei Werten ab: wie viele Watt deine Maschine beim Generieren zieht, wie viele Stunden sie am Tag generiert und was dein Versorger pro Kilowattstunde berechnet. Für einen typischen Desktop mit einer einzelnen GPU liegt der monatliche Wert zwischen einigen Dollar und einigen Dutzend Dollar. Das ist im Vergleich zum Preis der Hardware gering, aber nicht null und groß genug, um bei einem Vergleich mit der Bezahlung pro Token ins Gewicht zu fallen.

Die folgende Berechnung verwendet Annahmen, die du durch deine eigenen ersetzen kannst. Die API-Seite nutzt die echten Preise dieses Dienstes: $0,15 pro 1 Mio. Input-Token und $0,50 pro 1 Mio. Output-Token.

Die Formel

Strom ist Energie mal Preis. Energie in Kilowattstunden ist Leistung in Kilowatt mal Stunden.

monthly_kwh  = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwh

Verwende einen Steckdosenzähler, wenn du einen hast. Er misst die gesamte Maschine am Stromanschluss, wofür du zahlst. Die angegebene Board-Leistung der GPU aus dem Datenblatt zu lesen, vermittelt nur ein Teilbild, weil CPU, Speicher, Laufwerke, Lüfter und Stromversorgungsverluste dazu kommen.

Für die Beispiele nehme ich an:

  • 450 W am Stromanschluss, während das Modell generiert (eine Karte mit ca. 350 W plus der Rest des Systems).
  • 60 W am Stromanschluss, wenn der PC an ist, aber im Leerlauf.
  • $0,15 pro kWh. Dies ist eine Annahme. Die Tarife variieren stark je nach Land und Tageszeit, ersetze sie also durch die Zahl auf deiner Rechnung.
  • 30 Token pro Sekunde Generierung für einen Einzelnutzer. Deine Geschwindigkeit hängt vom Modell, seiner Quantisierung und der Karte ab.

Drei Nutzungsstufen, berechnet

Nimm einen leichten, einen mäßigen und einen schweren Nutzer. Die Maschine bleibt in jedem Fall den ganzen Tag an, daher werden die Leerlaufstunden gezählt.

NutzungGenerierung pro TagEnergie pro MonatStromkosten pro MonatOutput-Token pro Monat
Leicht1 Stunde54,9 kWh$8,243,24M
Mäßig4 Stunden90,0 kWh$13,5012,96M
Schwer12 Stunden183,6 kWh$27,5438,88 Mio.

Hier ist die moderate Zeile Schritt für Schritt. Generierung: 4 Stunden mal 0,45 kW ergeben 1,8 kWh pro Tag. Leerlauf: 20 Stunden mal 0,06 kW ergeben 1,2 kWh pro Tag. Gesamt 3,0 kWh pro Tag, also 90 kWh über 30 Tage, was bei 0,15 $ 13,50 $ ergibt. Tokens: 4 Stunden sind 14.400 Sekunden, mal 30 Tokens pro Sekunde ergeben 432.000 Tokens pro Tag oder 12,96 Mio. pro Monat.

Beachte, wie der leichte Nutzer nur 3,24 Mio. Tokens für 8,24 $ bezahlt. Der Leerlaufstrom macht den Großteil dieser Rechnung aus: 23 Stunden Leerlauf bei 60 W ergeben 1,38 kWh pro Tag, mehr als doppelt so viel wie die 0,45 kWh für die Generierung.

Was die gleichen Token über eine API kosten

Chat-Nutzung sendet mehr Tokens, als sie empfängt, da jede Anfrage den System-Prompt und den bisherigen Gesprächsverlauf enthält. Gehe von drei Input-Tokens pro Output-Token aus, was ein plausibles Verhältnis für Chats mit Verlauf ist. Dann ist die monatliche Rechnung bei 0,15 $ und 0,50 $ pro 1 Mio.:

NutzungAusgabenkostenInput-Kosten (3x Output-Token)API-GesamtLokaler Strom
Leicht3,24M x $0,50 = $1,629,72M x $0,15 = $1,46$3,08$8,24
Mäßig12,96M x $0,50 = $6,4838,88M x $0,15 = $5,83$12,31$13,50
Schwer38,88M x $0,50 = $19,44116,64M x $0,15 = $17,50$36,94$27,54

Zwei Dinge stechen heraus. Erstens ist die API günstiger als der Strom allein, wenn du weniger als etwa vier Stunden am Tag generierst. Zweitens gewinnt die lokale Anlage bei zwölf Stunden am Tag beim Strom, weil der Leerlaufanteil sinkt und du die Siliziumleistung nutzt, für die du bereits bezahlt hast. Die API-Zahl beinhaltet auch die Input-Verarbeitung, die deine GPU in Geldtermen kostenlos macht, aber trotzdem Energie verbraucht. Prefill ist schnell, daher habe ich es auf der lokalen Seite weggelassen; das begünstigt lokal leicht.

Strom pro Million Token

Eine nützliche Vergleichsmethode ist die Energiekosten pro 1 Mio. Output-Token nur während der Generierung. Bei 450 W und 30 Token pro Sekunde dauert eine Million Token etwa 33.333 Sekunden oder 9,26 Stunden. Das sind 4,17 kWh und bei $0,15 pro kWh sind das etwa $0,63. Die API berechnet $0,50 pro 1 Mio. Output-Token, Input wird separat mit $0,15 berechnet.

Selbst ohne GPU zu zählen, gibt ein Einzelnutzer, der mit 30 Token pro Sekunde generiert, mehr für Strom pro Output-Token aus als der API-Preis. Die Lücke schließt sich nur, wenn deine Hardware schneller ist oder dein Strom günstiger. Bei 60 Token pro Sekunde ergibt die gleiche Rechnung etwa $0,31. Bei $0,08 pro kWh und 30 Token pro Sekunde ergibt sie etwa $0,33. Jede Änderung verschiebt die Antwort, also rechne deine eigenen Zahlen durch.

Batching ist die Ausnahme. Ein Server, der mehrere Anfragen gleichzeitig verarbeitet, verbraucht pro Token deutlich weniger Energie, weshalb Anbieter von gehosteten Diensten niedrige Preise anbieten können. Ein Desktop-PC, der von einer Person genutzt wird, profitiert selten davon.

Was die Formel außer Acht lässt

  • Hardware. Eine GPU, die ein nützliches Modell ausführt, kostet weit mehr als ein Jahr der oben genannten Stromkosten. Auf ihre Lebensdauer verteilt, macht sie die Gesamtkosten meist aus. Die Seite zu den Kosten eines LLM geht auf die Anschaffungsseite ein.
  • Kühlung und Lärm. In einem warmen Klima belastet die Wärme von 450 W auch deine Klimaanlage. Im Winter ist sie teilweise eine nützliche Wärmequelle.
  • Größere Modelle. Ein Modell, das zwei Karten benötigt, verdoppelt die Lastzahl.
  • Deine Zeit. Treiber aktualisieren, Quantisierungen auswählen und Out-of-Memory-Fehler beheben ist Arbeit, die eine API eliminiert.

Auf der anderen Seite kostet ein lokales Modell pro zusätzlicher Anfrage nichts und funktioniert offline. Wenn du es viele Stunden am Tag ausführst, ist das relevant.

Möglichkeiten, die lokalen Kosten zu senken

Wenn du lokal bleibst, reduzieren einige Gewohnheiten die Zahl, ohne das Modell zu ändern.

  • Den Rechner schlafen legen. Der Wechsel von 60 W Leerlauf den ganzen Tag über in den Ruhezustand für 16 der 20 Leerlaufstunden spart im moderaten Fall etwa 29 kWh im Monat, grob $4,32 bei $0,15.
  • Das GPU-Leistungslimit begrenzen. Viele Karten verlieren wenig Generierungsgeschwindigkeit, wenn das Leistungslimit um 20 bis 30 Prozent gesenkt wird. Teste deine eigene Karte, da die Ergebnisse je nach Modell und Treiber variieren.
  • Eine kleinere Quantisierung oder ein kleineres Modell für Routineaufgaben verwenden. Weniger Bytes pro Gewicht bedeuten weniger Speichertraffic und oft schnellere Generierung, was die Stunden verkürzt, in denen die Karte beschäftigt ist.
  • Nach einem Zeitnutzungs-Tarif arbeiten. Wenn dein Versorger nachts weniger berechnet, plane Batch-Jobs für diese Stunden.

Überprüfe die Einsparung durch den Ruhezustand: 16 Stunden mal 0,06 kW sind 0,96 kWh pro Tag, mal 30 sind 28,8 kWh, mal $0,15 sind $4,32. Das ändert jedoch nichts an der Größenordnung. Strom bleibt im Vergleich zur Hardware selbst ein kleiner Teil der Gesamtkosten.

Die API-Seite mit echten Zahlen testen

Du kannst die API-Schätzung gegen deine eigene Arbeitslast prüfen, ohne viel zu bezahlen. Neue Nutzer können nach der Anmeldung mit einem Klick auf der API-Schlüssel-Seite $0,50 an Testguthaben beanspruchen, keine Karte erforderlich, gültig für 7 Tage. Sende einige realistische Anfragen und lies dann den X-Balance-USD-Antwortheader, um zu sehen, was sie kosten.

curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'

Vergleiche den Saldo vor und nach der Anfrage, skaliere ihn mit deiner erwarteten Anzahl an Anfragen und setze ihn gegen deine Stromschätzung. Aktuelle Preise und Auflade-Boni sind auf der Preisseite aufgeführt, und Anfragedetails findest du in der Dokumentation.

Fragen und Antworten

Wie viel Strom verbraucht ein lokales LLM?

Ein Desktop mit einer einzelnen GPU zieht typischerweise einige hundert Watt während der Generierung und deutlich unter 100 W im Leerlauf. Miss an der Steckdose mit einem Steckdosenzähler, multipliziere dann mit den Stunden und deinem Preis pro kWh.

Sitzt das Modell die meiste Zeit im Leerlauf?

Für die meisten privaten Setups: Ja. Der Leerlaufverbrauch kann höher sein als der Energieverbrauch während der Generierung, daher senkt man die Kosten, indem man den PC zwischen den Sitzungen in den Ruhezustand versetzt.

Ist ein lokales LLM günstiger als eine API?

Bei leichter oder moderater Nutzung meist nicht, sobald der Stromverbrauch berücksichtigt wird, und schon gar nicht, wenn die Hardware einbezogen wird. Bei vielen Stunden täglicher Generierung kann es sich bereits aufgrund der Stromkosten auszahlen.

Kann ich die API-Kosten testen, ohne zu bezahlen?

Ja. Das Testguthaben von $0,50 mit einem Klick benötigt keine Karte, und der Saldo-Header zeigt, was jede Anfrage kostet.

uncensoredlocalllm.com

Dein Schlüssel ist nur ein Formular ausfüllen entfernt

Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.