DE ▾
API-Schlüssel erhalten

uncensoredlocalllm.comGuide

Lokale LLM-Hardwarekosten: Wann die API günstiger ist

Ein nutzbares lokales Modell benötigt eine GPU mit viel Speicher, eine ordentliche Host-Maschine und eine Stromrechnung. Über drei Jahre verteilt, ist das pro Monat weit mehr, als die meisten Menschen für Token ausgeben.

Aktualisiert

Waage, die PC-Hardware gegen eine Wolke aus Token abwägt und die lokalen LLM-Hardwarekosten im Vergleich zu einer API zeigt
Isometrische Illustration einer lokalen GPU, die mit einer gehosteten Cloud verbunden ist, die lokale versus API-Coding-Modelle darstellt

Wichtige Punkte

  • Der Speicher der GPU, nicht die reine Geschwindigkeit, bestimmt, was du ausführen kannst und was es kostet.
  • Bei der unten gezeigten Beispielkonfiguration liegt der Break-Even bei etwa 232 Mio. Token pro Monat oder etwa 18 Stunden Generierung täglich.
  • Eine API gewinnt bei niedrigem und sprunghaftem Volumen; lokal gewinnt bei konstanter hoher Auslastung, Datenschutzbedürfnissen und Offline-Arbeit.
  • Betrachte jeden hier genannten Hardwarepreis als Platzhalter und prüfe den aktuellen Markt.

Was treibt den Preis an

Die lokalen LLM-Hardwarekosten sind hauptsächlich eine Komponente: die Grafikkarte, und zwar speziell die Größe des Videospeichers. Die Modellgewichte müssen in den VRAM passen, oder in eine langsamere Mischung aus VRAM und Systemspeicher. Eine grobe Faustregel für die Gewichte allein lautet: Parameter mal Bits pro Gewicht geteilt durch acht. Ein Modell mit 8 Milliarden Parametern bei 4-Bit-Quantisierung benötigt etwa 4 GB. Ein 70-Milliarden-Modell bei 4-Bit benötigt etwa 35 GB. Hinzu kommt Platz für den KV-Cache, der mit der Kontextlänge wächst, sowie ein gewisser Overhead.

Deshalb ist die Preiskurve steil. Eine Karte mit 12 GB Speicher läuft kleine Modelle. Eine 24-GB-Karte läuft mittelgroße Modelle bequem. Alles Größere bedeutet zwei Karten oder Workstation-Hardware. Geschwindigkeit ist weniger wichtig als Kapazität: Eine langsamere Karte, die das Modell fasst, ist besser als eine schnellere Karte, die es nicht fasst.

Eine Budget-, eine Mittelklasse- und eine große Konfiguration

Die unten stehenden Preise sind illustrative Annahmen, keine Angebote. Gebrauchte und neue Preise ändern sich ständig, also ersetze sie durch das, was du tatsächlich findest. Der Punkt ist die Form der Berechnung.

ArtikelKleine KonfigurationMittlere KonfigurationGroße Konfiguration
GPU-Speicher12 GB24 GB2 x 24 GB
GPU (angenommen)$350$800$1.600
CPU, Mainboard, 32 bis 64 GB RAM, SSD (angenommen)$500$600$900
Netzteil, Gehäuse, Kühlung (angenommen)$150$100$200
Gesamt (angenommen)$1,000$1,500$2,700

Wenn du bereits einen Gaming-PC mit einer geeigneten Karte besitzt, sind deine marginalen Hardwarekosten null und der Rest dieses Artikels verschiebt sich stark zugunsten von lokal. Wenn du neu kaufst, ist die Tabelle näher an der Wahrheit.

Den Kauf in eine monatliche Kostenstelle umwandeln

Verteile den Build auf einen realistischen Zeitraum und addiere Stromkosten. Der mittlere Build über 36 Monate kostet $1.500, also $41,67 pro Monat. Addiere Stromkosten für eine Maschine, die etwa vier Stunden am Tag läuft: 450 W unter Last, 60 W im Leerlauf und $0,15 pro kWh ergeben $13,50 pro Monat. Gesamt: $55,17 pro Monat.

KonfigurationHardware pro Monat (36 Monate)Strom pro Monat (4 h/Tag)Gesamt pro Monat
Klein$27,78$13,50$41,28
Mittel$41,67$13,50$55,17
Groß$75,00$23,40$98,40

Die Stromzahl des großen Baus geht von 800 W unter Last und 100 W im Leerlauf aus: 3,2 kWh plus 2,0 kWh pro Tag sind 5,2 kWh, mal 30 sind 156 kWh, mal $0,15 sind $23,40.

Der Break-Even im Vergleich zur Token-Preisgestaltung

Rechnen Sie diesen monatlichen Wert jetzt in Token um. Gehen Sie von Chat-Traffic mit drei Input-Token pro Output-Token aus. Eine Million Output-Token plus drei Millionen Input-Token kosten 1 x $0,50 + 3 x $0,15 = $0,95 für vier Millionen Token, ein gemischter Preis von $0,2375 pro 1M. Für den mittleren Build:

  • $55,17 geteilt durch $0,2375 pro 1M ergeben etwa 232M Token pro Monat am Break-Even.
  • Ein Viertel davon ist Output: grob 58M Output-Token.
  • Bei 30 Token pro Sekunde würde eine Maschine etwa 77,8 Mio. Output-Token produzieren, wenn sie 30 Tage lang durchläuft (2,592 Mio. Sekunden mal 30).

58M Output-Token bei 30 pro Sekunde benötigen 1,94M Sekunden, etwa 538 Stunden, was 17,9 Stunden Generierung jeden Tag bedeutet. Eine einzelne Person, die Prompts eingibt, schafft das nicht. Eine Batch-Pipeline oder ein Dienst mit vielen Nutzern vielleicht.

Wo sich lokal noch lohnt

Der Break-Even sagt aus, dass die API für die meisten Einzelpersonen günstiger ist. Er sagt nicht, dass lokal sinnlos ist. Gründe, trotzdem Hardware zu kaufen:

  • Du besitzt die Karte bereits. Dann zählt nur noch der Strom.
  • Konstante Last. Eine Pipeline, die den ganzen Tag läuft, wie z. B. Massenklassifizierung, kann eine GPU stark genug auslasten, um den Break-Even zu erreichen.
  • Offline- oder Air-Gapped-Arbeit. Kein Netzwerk, keine Token-Abrechnung, keine Daten, die das Gebäude verlassen.
  • Experimente mit Gewichten. Wenn du Quantisierungen ändern, Modelle zusammenführen oder eigene Fine-Tunes ausführen möchtest, benötigst du die Dateien auf deiner Festplatte.

Für einen umfassenderen Blick auf die allgemeinen LLM-Nutzungskosten sieh dir die Seite zu wie viel ein LLM kostet an. Gründe für einen Miet-Server: sprunghafte Nutzung, viele Experimente mit verschiedenen Größen, die Notwendigkeit eines langen Kontextfensters ohne VRAM-Kauf und der Wunsch, Treiber und Inference-Server nicht selbst warten zu müssen. Die gehostete Option hat ein Kontextfenster von 100.000 Token, was zu Hause für den KV-Cache viel Speicher erfordern würde.

Drei Personen, drei Antworten

Zahlen sind vertrauenswürdiger, wenn sie zu einer realen Situation passen. Hier sind drei Profile, die zu einem Preis von $0,15 und $0,50 pro 1M Token mit dem drei-zu-eins Input-Verhältnis angeboten werden.

  • Der Hobbyanwender chattet ein bis zwei Stunden am Tag und sendet insgesamt etwa 10 Mio. Token pro Monat. Bei einem gemischten Preis von 0,2375 $ pro 1 Mio. Token sind das 2,38 $. Vergleiche das mit 41,28 $ im Monat für die kleine Konfiguration. Die API ist etwa siebzehnmal günstiger.
  • Der Entwickler betreibt einen Editor-Assistenten und Testskripte, rund 60 Mio. Token pro Monat: $14,25 über die API. Der mittlere Bau kostet $55,17 pro Monat, also gewinnt die API immer noch deutlich, es sei denn, die Grafikkarte war bereits vorhanden.
  • Der Batch-Betreiber klassifiziert rund um die Uhr Dokumente, 400 Mio. Token pro Monat: 95,00 $ über die API. Die mittlere Konfiguration mit 55,17 $ ist günstiger, wenn sie dieses Volumen tatsächlich verarbeiten kann, aber bei 30 Token pro Sekunde Ausgaberate erreicht sie monatlich etwa 77,8 Mio. Output-Token, insgesamt etwa 311 Mio. Token bei demselben Verhältnis. Der Betreiber benötigt also eine zweite Grafikkarte oder muss ein niedrigeres Volumen akzeptieren, was die lokalen Kosten erhöht.

Das Muster ist konsistent: Die API gewinnt, bis die Nutzung konstant und groß ist, und dann wird die lokale Kapazität zum Flaschenhals. Die Parallelität unterscheidet sich ebenfalls. Ein Vollzugriff-API-Schlüssel erlaubt hier 8 parallele Anfragen, während eine einzelne Desktop-GPU normalerweise eine Anfrage zur Zeit mit voller Geschwindigkeit bedient.

Weniger ausgeben und was die Quittung verschweigt

Möglichkeiten, bei der Hardware weniger auszugeben

  • Gebraucht kaufen. Grafikkarten der Vorgängergeneration mit 24 GB Speicher bieten oft das beste Preis-Leistungs-Verhältnis pro Gigabyte. Prüfe den Verkäufer und teste die Karte unter Last bei der Ankunft.
  • Layer auslagern. Inference-Engines wie llama.cpp können einen Teil eines Modells im System-RAM halten. Es läuft, aber langsamer, also verwende dies nur, wenn die Geschwindigkeit keine Rolle spielt.
  • Ein kleineres Modell wählen. Ein gut abgestimmtes 8B-Modell auf einer 12-GB-Karte deckt viele alltägliche Aufgaben ab. Bezahle nur für die Größe, wenn eine Aufgabe sie benötigt.
  • GPU-Zeit stundenweise mieten. Cloud-GPU-Mieten vermeiden den Kauf, haben aber ihre eigenen Stundensätze, also prüfe die aktuellen Preise und vergleiche sie mit der Token-Abrechnung.

Verborgene Kosten, die Menschen vergessen

  • Abschreibung. GPUs verlieren ihren Wiederverkaufswert, wenn neuere Karten auf den Markt kommen. Die oben genannten 36 Monate Lebensdauer sind eine Schätzung.
  • Ausfall und Ersatz. Ein ausgefallenes Netzteil oder Lüfter ist eine unerwartete Rechnung.
  • Aufrüstungen. Neue Open-Weight-Modelle tendieren dazu, größer zu sein. Eine Karte, die heute in das Lieblingsmodell passt, passt vielleicht nicht in das nächste Jahr.
  • Zeit. Einrichtung, Updates und Debugging sind echte Stunden. Wenn du sie mit etwas bezifferst, füge sie hinzu.
  • Lärm und Hitze. Eine 450-W-Maschine in einem kleinen Raum ist hörbar und warm.

Keine dieser Punkte erscheint auf einer Quittung, weshalb eine Anlage im Kopf oft günstiger wirkt, als sie ist.

Prüfe deinen eigenen Break-Even

Wähle deine Zahlen und führe dies aus. Es nimmt deine gesamten monatlichen lokalen Kosten und gibt das monatliche Token-Volumen aus, bei dem die API den Kosten entspricht, zu den Preisen dieses Dienstes.

local_monthly = 55.17        # hardware per month + electricity
in_price, out_price = 0.15, 0.50   # dollars per 1M tokens
ratio = 3                    # input tokens per output token

blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")

Wenn dein reales Volumen weit darunter liegt, nutze die API. Um dein Volumen zu messen, beanspruche das Testguthaben auf der API-Schlüssel-Seite, führe deine echten Prompts gegen https://api.uncensoredlocalllm.com/v1 mit dem Modell uncensored aus und lies die Token-Nutzung in jeder Antwort. Siehe die Dokumentation für das Anfrageformat und die Preisseite für Aufladungen.

Fragen und Antworten

Wie viel kostet ein PC, der ein LLM lokal ausführen kann?

Das hängt von der gewünschten Modellgröße ab. Mit den Platzhalterpreisen in diesem Artikel kostet eine kleine Konfiguration etwa 1.000 $ und eine mittlere Konfiguration mit einer 24-GB-Karte etwa 1.500 $. Prüfe die aktuellen Marktpreise, bevor du planst.

Brauche ich eine GPU, um ein lokales LLM auszuführen?

Nein, kleine Modelle laufen auf einer CPU mit ausreichend RAM, aber die Generierung ist viel langsamer. Eine GPU mit genügend Speicher für die Gewichte macht es praktikabel.

Wann ist ein lokales LLM günstiger als eine API?

Wenn die Maschine viele Stunden am Tag ausgelastet ist, wenn du die Hardware bereits besitzt oder wenn du einen Offline-Betrieb benötigst. Bei den Preisen in diesem Artikel erreicht die mittlere Konfiguration bei etwa 18 Generierungsstunden pro Tag den Break-Even.

Kann ich eine API ausprobieren, bevor ich Hardware kaufe?

Ja. Neue Nutzer können 0,50 $ an Testguthaben ohne Karte beanspruchen und ihre echten Prompts ausführen, um die Qualität und die Kosten zu sehen.

uncensoredlocalllm.com

Dein Schlüssel ist nur ein Formular entfernt

Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.