Koszt prądu lokalnego LLM vs. Płatność za token
Uruchomienie modelu na własnym GPU nie jest darmowe: karta pobiera realny prąd podczas generowania, a komputer pobiera go trochę w spoczynku. Oto jak to oszacować i kiedy API płatne za token jest tańsze.


Kluczowe punkty
- Konfiguracja dla jednego użytkownika przy prędkości około 30 tokenów na sekundę zużywa około $0,63 na 1M tokenów wyjściowych na prąd, bez uwzględnienia sprzętu.
- Przy lekkim użyciu API jest tańsze. Przy intensywnym, codziennym użyciu lokalna konfiguracja może wygrać dzięki niższemu zużyciu prądu.
- Pobór w spoczynku ma większe znaczenie, niż większość osób się spodziewa, gdy komputer pracuje cały dzień.
- Kupno sprzętu, a nie prąd, zwykle decyduje o punkcie zwrotu.
Krótka odpowiedź
Koszt energii lokalnego modelu LLM zależy od trzech liczb: ile watów pobiera Twoja maszyna podczas generowania, ile godzin dziennie generuje i ile Twoja firma energetyczna pobiera za kilowatogodzinę. Dla typowego komputera stacjonarnego z jedną kartą GPU miesięczny koszt wynosi od kilku do kilkudziesięciu dolarów. Jest to kwota niewielka w porównaniu do ceny sprzętu, ale nie jest zerowa i ma znaczenie przy porównaniu z opłatą za token.
Poniższe obliczenie używa założeń, które możesz zamienić na własne. Po stronie API używane są rzeczywiste ceny tej usługi: $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych.
Wzór
Prąd to energia pomnożona przez cenę. Energia w kilowatogodzinach to moc w kilowatach pomnożona przez godziny.
monthly_kwh = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwhUżyj licznika mocy do wtyczki, jeśli go masz. Mierzy on całą maszynę przy gniazdku, za który płacisz. Odczyt znamionowej mocy GPU z karty specyfikacji daje tylko cząstkowy obraz, bo CPU, pamięć, dyski, wentylatory i straty zasilacza dodają do tego.
Dla przykładów zakładam:
- 450 W przy ścianie podczas generowania modelu (karta o mocy około 350 W plus reszta systemu).
- 60 W przy ścianie, gdy komputer jest włączony, ale w spoczynku.
- $0,15 za kWh. To założenie. Stawki różnią się znacznie w zależności od kraju i pory dnia, więc zamień to na liczbę z Twojej faktury.
- 30 tokenów na sekundę generowania dla jednego użytkownika. Twoja prędkość zależy od modelu, jego kwantyzacji i karty.
Trzy poziomy użycia, obliczone
Weź lekkiego, umiarkowanego i ciężkiego użytkownika. Maszyna pracuje cały dzień w każdym przypadku, więc godziny spoczynku są liczone.
| Zużycie | Generowanie na dobę | Energia na miesiąc | Prąd na miesiąc | Tokeny wyjściowe miesięcznie |
|---|---|---|---|---|
| Lekki | 1 godzina | 54,9 kWh | $8,24 | 3,24M |
| Umiarkowana | 4 godziny | 90,0 kWh | $13,50 | 12,96M |
| Ciężki | 12 godzin | 183,6 kWh | $27,54 | 38,88M |
Oto wiersz umiarkowany krok po kroku. Generowanie: 4 godziny razy 0,45 kW to 1,8 kWh na dobę. Bezczynność: 20 godzin razy 0,06 kW to 1,2 kWh na dobę. Razem 3,0 kWh na dobę, więc 90 kWh przez 30 dni, co przy $0,15 daje $13,50. Tokeny: 4 godziny to 14 400 sekund, razy 30 tokenów na sekundę to 432 000 tokenów na dobę, albo 12,96M na miesiąc.
Zwróć uwagę, że lekki użytkownik płaci $8,24 za tylko 3,24M tokenów. Moc w trybie bezczynności stanowi większość tego rachunku: 23 godziny bezczynności przy 60 W to 1,38 kWh na dobę, więcej niż podwójnie 0,45 kWh wydanych na generowanie.
Koszt tych samych tokenów przez API
Użycie czatu wysyła więcej tokenów, niż odbiera, bo każde zapytanie zawiera prompt systemowy i dotychczasową rozmowę. Załóż trzy tokeny wejściowe na każdy token wyjściowy, co jest prawdopodobnym stosunkiem dla czatu z historią. Wtedy miesięczny rachunek przy $0,15 i $0,50 za 1M wynosi:
| Zużycie | Koszt wyjścia | Koszt wejścia (3x tokeny wyjścia) | Razem API | Prąd lokalny |
|---|---|---|---|---|
| Lekki | 3,24M x $0,50 = $1,62 | 9,72M x $0,15 = $1,46 | $3,08 | $8,24 |
| Umiarkowana | 12,96M x $0,50 = $6,48 | 38,88M x $0,15 = $5,83 | $12,31 | $13,50 |
| Ciężki | 38,88M x $0,50 = $19,44 | 116,64M x $0,15 = $17,50 | $36,94 | $27,54 |
Wyróżniają się dwie rzeczy. Po pierwsze, przy mniej niż około czterech godzinach generowania dziennie interfejs API jest tańszy niż sam prąd. Po drugie, przy dwunastu godzinach dziennie lokalna konfiguracja wygrywa pod kątem zużycia energii, ponieważ udział w stanie spoczynku maleje, a korzystasz z podzespołów, za które już zapłaciłeś. Koszt API obejmuje również przetwarzanie wejścia, które Twoja karta GPU wykonuje za darmo w ujęciu pieniężnym, ale nadal zużywa na to energię. Prefill jest szybki, więc pominąłem go po stronie lokalnej; to nieznacznie faworyzuje rozwiązanie lokalne.
Prąd na milion tokenów
Praktyczny sposób porównania to koszt energii na 1M tokenów wyjściowych tylko podczas generowania. Przy 450 W i 30 tokenach na sekundę milion tokenów zajmuje około 33 333 sekund, czyli 9,26 godziny. To 4,17 kWh, a przy $0,15 za kWh daje to około $0,63. API pobiera $0,50 za 1M tokenów wyjściowych, a wejście rozliczane jest osobno po $0,15.
Więc nawet przed doliczeniem GPU, jeden użytkownik generujący z prędkością 30 tokenów na sekundę wydaje więcej na prąd na token wyjściowy niż cena API. Różnica maleje tylko, jeśli sprzęt jest szybszy lub prąd tańszy. Przy 60 tokenach na sekundę te same obliczenia dają około $0,31. Przy $0,08 za kWh i 30 tokenach na sekundę daje to około $0,33. Każda zmiana zmienia wynik, więc wykonaj własne obliczenia.
Grupowanie zapytań jest wyjątkiem. Serwer obsługujący kilka zapytań jednocześnie zużywa znacznie mniej energii na token, dlatego dostawcy hostowani mogą oferować niskie ceny. Komputer stacjonarny używany przez jedną osobę rzadko z tego korzysta.
Czego nie uwzględnia wzór
- Sprzęt. GPU obsługujący przydatny model kosztuje znacznie więcej niż rok zużycia energii elektrycznej wymienionej powyżej. Rozłożony na cały okres eksploatacji, zwykle dominuje w całkowitych kosztach. Strona o kosztach LLM omawia stronę zakupu.
- Chłodzenie i hałas. W ciepłym klimacie ciepło z 450 W obciąża też klimatyzację. Zimą jest to częściowo użyteczne ogrzewanie.
- Większe modele. Model wymagający dwóch kart w przybliżeniu podwaja wskaźnik obciążenia.
- Twój czas. Aktualizacja sterowników, dobieranie kwantyzacji i rozwiązywanie błędów pamięci to praca, którą API eliminuje.
Po drugiej stronie lokalny model nie kosztuje nic za dodatkowe zapytanie i działa offline. Jeśli uruchamiasz go przez wiele godzin dziennie, ma to znaczenie.
Sposoby na obniżenie lokalnego rachunku
Jeśli zostajesz przy lokalnym rozwiązaniu, kilka nawyków zmniejsza ten koszt bez dotykania modelu.
- Uśpij maszynę. Przejście z 60 W w stanie bezczynności przez cały dzień na uśpienie przez 16 z 20 godzin bezczynności oszczędza około 29 kWh miesięcznie w umiarkowanym przypadku, co daje około $4,32 przy cenie $0,15.
- Ogranicz limit mocy GPU. Wiele kart traci mało prędkości generowania, gdy limit mocy zostanie obniżony o 20 do 30 procent. Przetestuj własną kartę, ponieważ wyniki różnią się w zależności od modelu i sterownika.
- Używaj mniejszej kwantyzacji lub modelu do zadań rutynowych. Mniej bajtów na wagę oznacza mniejszy ruch pamięci i często szybszą generację, co skraca godziny, przez które karta jest zajęta.
- Uruchamiaj na taryfie czasowej. Jeśli twój dostawca energii taniej pobiera opłatę w nocy, zaplanuj zadania grupowe na te godziny.
Sprawdź oszczędność z uśpienia: 16 godzin razy 0,06 kW to 0,96 kWh dziennie, razy 30 to 28,8 kWh, razy $0,15 to $4,32. Żadna z tych zmian nie zmienia rzędu wielkości. Energia elektryczna pozostaje małą częścią całkowitych kosztów w porównaniu do samego sprzętu.
Próba strony API z rzeczywistymi liczbami
Możesz tanio sprawdzić szacowanie API przeciwko swojemu obciążeniu. Nowi użytkownicy mogą zabrać $0,50 kredytu próbnego jednym kliknięciem na stronie klucza API po rejestracji, bez karty, ważny przez 7 dni. Wyślij kilka realistycznych zapytań, a następnie przeczytaj nagłówek odpowiedzi X-Balance-USD, aby zobaczyć, ile kosztują.
curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'Porównaj stan konta przed i po, skaluj według oczekiwanej liczby zapytań i zestaw to ze swoim szacunkiem energii elektrycznej. Aktualne stawki i bonusy do doładowania są wymienione na stronie z cenami, a szczegóły zapytań znajdziesz w dokumentacji.
Więcej przewodników
Pytania i odpowiedzi
Ile energii zużywa lokalny LLM?
Komputer stacjonarny z jedną kartą GPU pobiera zwykle kilkaset watów podczas generowania i znacznie mniej niż 100 W w stanie bezczynności. Mierz pobór w gniazdku za pomocą licznika wtyczkowego, a następnie pomnóż przez liczbę godzin i cenę za kWh.
Czy model spędza większość czasu w stanie bezczynności?
W większości konfiguracji osobistych tak. Pobór w stanie bezczynności może być większy niż energia generowania, więc uśpienie komputera między sesjami obniża rachunek.
Czy lokalny LLM jest tańszy niż API?
Przy lekkim lub umiarkowanym użyciu, zwykle nie, gdy doliczy się energię, a już wcale, gdy doliczy się sprzęt. Przy wielu godzinach generowania dziennego może być korzystniejszy pod względem samej energii.
Czy mogę przetestować koszt API bez płacenia?
Tak. Jednoklikowy kredyt próbny za $0,50 nie wymaga karty, a nagłówek stanu konta pokazuje, ile kosztuje każde zapytanie.
uncensoredlocalllm.com
Twój klucz jest tylko o jedno wypełnienie formularza
Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.