PL ▾
Pobierz klucz API

uncensoredlocalllm.comPrzewodnik

Koszt sprzętu do lokalnego LLM: Kiedy API jest tańsze

Przydatny lokalny model wymaga GPU z dużą ilością pamięci, przyzwoitej maszyny głównej i rachunku za prąd. Rozłożone na trzy lata jest to znacznie więcej miesięcznie niż większość osób wydaje na tokeny.

Zaktualizowano

Waga z wagą sprzętu PC przeciwko chmurze tokenów, pokazująca koszt sprzętu lokalnego LLM versus API
Izometryczna ilustracja lokalnej karty GPU połączonej z chmurą zdalną, reprezentująca modele kodowania lokalnego versus API

Kluczowe punkty

  • Pamięć na GPU, a nie sama prędkość, określa, co możesz uruchomić i ile zapłacisz.
  • Przy poniższej konfiguracji próg opłacalności to około 232 mln tokenów miesięcznie, czyli około 18 godzin generowania dziennie.
  • API wygrywa przy niskim i przerywanym wolumenie; lokalne rozwiązania wygrywają przy stałym dużym obciążeniu, potrzebie prywatności i pracy offline.
  • Traktuj każdą cenę sprzętu tutaj jako wartość przykładową i sprawdź aktualny rynek.

Co napędza cenę

Koszt sprzętu do lokalnego LLM to głównie jeden składnik: karta graficzna, a konkretnie ilość pamięci VRAM. Wagi modelu muszą zmieścić się w VRAM lub w wolniejszym mixie VRAM i RAMu systemowego. Przybliżona reguła dla samych wag to liczba parametrów razy bity na wagę podzielone przez osiem. Model z 8 miliardami parametrów w 4-bitowej kwantyzacji potrzebuje około 4 GB. Model 70 miliardowy w 4-bit potrzebuje około 35 GB. Do tego potrzebujesz miejsca na bufor KV, który rośnie wraz z długością kontekstu, oraz pewnego narzutu.

Dlatego krzywa cenowa jest stroma. Karta z 12 GB pamięci uruchomi małe modele. Karta 24 GB wygodnie uruchomi modele średniej wielkości. Wszystko większe oznacza dwie karty lub sprzęt roboczy. Prędkość ma mniejsze znaczenie niż pojemność: wolniejsza karta, która zmieści model, wygrywa z szybszą, która nie.

Budżetowa, średnia i duża konfiguracja

Poniższe ceny to przykładowe założenia, nie oferty. Ceny używanych i nowych sprzętów zmieniają się stale, więc zastąp je tym, co faktycznie znajdziesz. Chodzi o kształt obliczeń.

PozycjaMała konfiguracjaŚrednia konfiguracjaDuża konfiguracja
Pamięć GPU12 GB24 GB2 x 24 GB
GPU (przyjęte)$350$800$1,600
CPU, płyta, 32 do 64 GB RAM, SSD (przyjęte)$500$600$900
Zasilacz, obudowa, chłodzenie (założone)$150$100$200
Razem (przyjęte)$1,000$1,500$2,700

Jeśli już posiadasz komputer do gier z odpowiednią kartą, twój dodatkowy koszt sprzętu wynosi zero, a reszta tego artykułu przesuwa się znacznie na korzyść lokalnego. Jeśli kupujesz nowy sprzęt, tabela jest bliższa prawdzie.

Przelicz zakup na koszt miesięczny

Rozłóż zakup na realistyczny okres użytkowania i dodaj prąd. Średnia konfiguracja za $1 500 na 36 miesięcy to $41,67 miesięcznie. Dodaj prąd dla maszyny generującej około 4 godziny dziennie: przy 450 W pod obciążeniem, 60 W w spoczynku i $0,15 za kWh to $13,50 miesięcznie. Razem: $55,17 miesięcznie.

KonfiguracjaSprzęt miesięcznie (36 miesięcy)Moc miesięcznie (4 h/dzień)Razem miesięcznie
Mała$27,78$13,50$41,28
Średnia$41,67$13,50$55,17
Duża$75,00$23,40$98,40

Wartość mocy dużej konfiguracji zakłada 800 W pod obciążeniem i 100 W w spoczynku: 3,2 kWh plus 2,0 kWh dziennie to 5,2 kWh, razy 30 to 156 kWh, razy $0,15 to $23,40.

Próg opłacalności przy cenie za token

Teraz przelicz tę miesięczną kwotę na tokeny. Przyjmij ruch czatowy z trzema tokenami wejściowymi na token wyjściowy. Jeden milion tokenów wyjściowych plus trzy miliony wejściowych kosztuje 1 x $0,50 + 3 x $0,15 = $0,95 za cztery miliony tokenów, czyli uśrednione $0,2375 za 1 mln. Dla średniej konfiguracji:

  • $55,17 podzielone przez $0,2375 za 1 mln to około 232 mln tokenów miesięcznie przy progu opłacalności.
  • Ćwierć z tego to wyjście: około 58 mln tokenów wyjściowych.
  • Przy 30 tokenach na sekundę jedna maszyna wyprodukuje około 77,8 mln tokenów wyjściowych, jeśli będzie pracować non-stop przez 30 dni (2,592 mln sekund razy 30).

58 mln tokenów wyjściowych przy 30 na sekundę zajmuje 1,94 mln sekund, około 538 godzin, co to 17,9 godziny generowania dziennie. Pojedyncza osoba pisząca prompty tego nie zrobi. Potok wsadowy lub usługa z wieloma użytkownikami może.

Gdzie lokalne rozwiązania mają jeszcze sens

Próg opłacalności mówi, że API jest tańsze dla większości osób. Nie mówi, że lokalne jest bez sensu. Powody do zakupu sprzętu mimo wszystko:

  • Masz już kartę. Wtedy liczy się tylko prąd.
  • Stałe obciążenie. Potok pracujący cały dzień, np. masowa klasyfikacja, może wystarczająco obciążyć GPU, aby przekroczyć próg opłacalności.
  • Praca offline lub w izolacji. Brak sieci, brak rachunku za tokeny, dane nie opuszczają budynku.
  • Eksperymenty z wagami. Jeśli chcesz zmieniać kwantyzacje, łączyć modele lub uruchamiać własne dostrajanie, potrzebujesz plików na dysku.

Dla szerszego obrazu kosztów korzystania z LLM w ogóle, zobacz stronę ile kosztuje LLM. Powody, aby wynająć zamiast kupować: zmienna obciążenie, wiele eksperymentów z różnymi rozmiarami, potrzeba długiego kontekstu bez kupowania większej pamięci VRAM oraz brak chęci utrzymywania sterowników i serwerów inferencji. Opcja hostowana tutaj ma okno kontekstu 100 000 tokenów, co wymagałoby dużo pamięci dla bufora KV w domu.

Trzy osoby, trzy odpowiedzi

Liczby łatwiej jest zaufać, gdy odpowiadają rzeczywistej sytuacji. Oto trzy profile, wycenione na $0,15 i $0,50 za 1 mln tokenów przy stosunku 3:1 (wejście/wyjście).

  • Hobbysta rozmawia godzinę lub dwie dziennie i wysyła łącznie około 10 mln tokenów miesięcznie. Przy średniej cenie $0,2375 za 1 mln to $2,38. Porównaj to z $41,28 miesięcznie za nawet małą konfigurację. API jest około siedemnastokrotnie tańsze.
  • Programista uruchamia asystenta edytora i skrypty testowe, około 60 mln tokenów miesięcznie: $14,25 przez API. Średnia konfiguracja kosztuje $55,17 miesięcznie, więc API nadal wygrywa dużą przewagą, chyba że karta była już posiadana.
  • Operator batchowy klasyfikuje dokumenty przez całą dobę, 400M tokenów miesięcznie: $95,00 przez API. Średnia konfiguracja za $55,17 jest tańsza, jeśli faktycznie jest w stanie przetworzyć taki wolumen, ale przy 30 tokenach na sekundę generowania osiąga limit około 77,8M tokenów wyjściowych miesięcznie, czyli około 311M tokenów łącznie przy tym samym stosunku. Operator potrzebuje więc drugiej karty lub musi zaakceptować niższy wolumen, co podnosi koszt lokalny.

Wzorzec jest spójny: API wygrywa, aż do momentu, gdy użycie jest stałe i duże, a lokalna pojemność staje się wąskim gardłem. Różni się też liczba równoczesnych zapytań. Pełny klucz tutaj pozwala na 8 równoległych zapytań, podczas gdy pojedyncza karta GPU zazwyczaj obsługuje jedno zapytanie na raz z pełną prędkością.

Wydatkowanie mniej i czego nie pokazuje rachunek

Sposoby na zmniejszenie wydatków na sprzęt

  • Kup używany. Karty poprzedniej generacji z 24 GB pamięci są często najlepszą wartością za gigabajt. Sprawdź sprzedawcę i przetestuj kartę pod obciążeniem na miejscu.
  • Przenoś warstwy. Silniki inferencji takie jak llama.cpp mogą przechowywać część modelu w pamięci RAM systemu. Działa, ale wolniej, więc używaj tego tylko wtedy, gdy prędkość nie ma znaczenia.
  • Wybierz mniejszy model. Dobrze dostrojony model 8B na karcie 12 GB obsługuje wiele codziennych zadań. Płać za rozmiar tylko wtedy, gdy zadanie tego wymaga.
  • Wynajmuj czas GPU na godzinę. Wynajem GPU w chmurze eliminuje zakup, ale ma własne stawki godzinowe, więc sprawdź ich aktualne ceny i porównaj je z rozliczeniem za tokeny.

Ukryte koszty, o których ludzie zapominają

  • Amortyzacja. GPU tracą wartość odsprzedaży, gdy pojawiają się nowsze karty. Powyższy okres życia 36 miesięcy to zgadywanka.
  • Awaria i wymiana. Zasilanie lub wentylator, które padną, to niespodziewany koszt.
  • Aktualizacje. Nowe modele o otwartych wagach są zazwyczaj większe. Karta, która mieści się w dzisiejszych ulubieńcach, może nie zmieścić się w przyszłorocznych.
  • Czas. Konfiguracja, aktualizacje i debugowanie to rzeczywiste godziny. Jeśli cenisz swój czas, dolicz je.
  • Hałas i ciepło. Maszyna 450 W w małym pomieszczeniu jest słyszalna i ciepła.

Żaden z tych kosztów nie pojawia się na paragonie, przez co zestaw często wydaje się tańszy w głowach ludzi niż w rzeczywistości.

Sprawdź własny próg opłacalności

Wybierz swoje liczby i uruchom to. Przyjmuje twój całkowity miesięczny koszt lokalny i wypisuje miesięczny wolumen tokenów, przy którym koszt API jest równy, przy cenach tej usługi.

local_monthly = 55.17        # hardware per month + electricity
in_price, out_price = 0.15, 0.50   # dollars per 1M tokens
ratio = 3                    # input tokens per output token

blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")

Jeśli Twój rzeczywisty wolumen jest znacznie niższy, użyj API. Aby zmierzyć wolumen, zdobądź kredyt próbny na stronie klucza API, uruchom swoje prompty pod https://api.uncensoredlocalllm.com/v1 z modelem uncensored i sprawdź zużycie tokenów. Zobacz dokumentację i stronę cenową.

Pytania i odpowiedzi

Ile kosztuje komputer PC, który może uruchomić LLM lokalnie?

Zależy od rozmiaru modelu, którego chcesz używać. Przy cenach zastępczych w tym artykule mała konfiguracja kosztuje około $1,000, a średnia konfiguracja z kartą 24 GB około $1,500. Sprawdź aktualne ceny rynkowe przed planowaniem.

Czy potrzebuję karty GPU do uruchomienia lokalnego LLM?

Nie, małe modele działają na CPU z wystarczającą ilością pamięci RAM, ale generacja jest znacznie wolniejsza. GPU z wystarczającą pamięcią na wagi to to, co sprawia, że jest to praktyczne.

Kiedy lokalny LLM jest tańszy niż API?

Kiedy maszyna jest zajęta wiele godzin dziennie, gdy już posiadasz sprzęt lub gdy potrzebujesz działania offline. Przy cenach w tym artykule średnia konfiguracja zrównuje się przy około 18 godzinach generowania dziennie.

Czy mogę przetestować API przed zakupem sprzętu?

Tak. Nowi użytkownicy mogą odebrać $0,50 kredytu próbnego bez karty i uruchomić swoje rzeczywiste prompty, aby zobaczyć jakość i koszt.

uncensoredlocalllm.com

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.