Ile kosztuje LLM? Matematyka oparta na tokenach i przykłady

Trzy sposoby płatności za LLM

Jeśli zastanawiasz się ile kosztuje LLM, pierwszym krokiem jest wybranie rodzaju kosztu. Istnieją trzy, a nie są porównywalne bez sprowadzenia ich do tej samej skali.

Model	Płacisz za	Struktura kosztów
Hostowane API	Tokeny wysłane i odebrane	Zero kosztów w spoczynku, rośnie wraz z użyciem
Subskrypcja czatu	Miesięczny plan dla aplikacji czatu	Stała opłata, zazwyczaj bez dostępu do API
Własny hosting	GPU, energia, konfiguracja i utrzymanie	Wysoki koszt stały, niski koszt dodatkowego zapytania

Niniejszy artykuł koncentruje się na przypadku API hostowanego, ponieważ to w nim możesz obliczyć wynik z góry. Sprawdź aktualne strony cenowe innych dostawców; ceny się zmieniają i nie są tu powtarzane.

Wzór na koszt API

Każde zapytanie ma stronę wejściową (Twój prompt, wiadomość systemowa i historia czatu) oraz stronę wyjściową (to, co pisze model). Obie są liczone w tokenach, a token to fragment tekstu stanowiący około trzech czwartych angielskiego słowa. Koszt wynosi:

koszt = (tokeny wejściowe / 1 000 000 x cena wejścia) + (tokeny wyjściowe / 1 000 000 x cena wyjścia)

W tej usłudze cena wejścia to $0,15 za 1 mln tokenów, a cena wyjścia to $0,50 za 1 mln tokenów. Wyjście jest nieco ponad trzy razy droższe niż wejście, więc długa odpowiedź kosztuje znacznie więcej niż długie pytanie.

Oto jedno zapytanie wykonane ręcznie. Prompt o 1000 tokenach i odpowiedź o 500 tokenach:

• Wejście: 1 000 / 1 000 000 × $0,15 = $0,00015
• Wyjście: 500 / 1 000 000 x $0,50 = $0,00025
• Suma: $0,0004

To cztery setne centa. Przeskalujmy to: 1 000 takich zapytań kosztuje $0,40, a 100 000 kosztuje $40.

Przykłady obliczeniowe dla rzeczywistych obciążeń

Bot wsparcia technicznego

Załóżmy 10 000 rozmów miesięcznie. Każda wysyła łącznie 3 000 tokenów wejściowych (prompt systemowy plus historia w kolejnych turach) i otrzymuje 800 tokenów wyjściowych. Wejście: 30 mln tokenów × $0,15 za 1 mln = $4,50. Wyjście: 8 mln tokenów × $0,50 za 1 mln = $4,00. Łączny koszt miesięczny: $8,50.

Podsumowanie dokumentów

Dokument o długości 50 000 tokenów i podsumowanie o długości 1 000 tokenów. Wejście: 0,05 mln × $0,15 = $0,0075. Wyjście: 0,001 mln × $0,50 = $0,0005. To $0,008 za dokument, więc 1 000 dokumentów kosztuje $8,00. Wypełnienie całego okna kontekstu 100 000 tokenów samymi danymi wejściowymi kosztuje $0,015.

Długa sesja roleplay lub towarzyska

Prompt zaczyna się od 500 tokenów i rośnie o 350 tokenów w każdej turze, ponieważ historia jest wysyłana ponownie. Po 20 turach model odczytuje 76 500 tokenów wejściowych i generuje 5 000 tokenów wyjściowych. Wejście: 0,0765 mln × $0,15 = około $0,0115. Wyjście: 0,005 mln × $0,50 = $0,0025. Około $0,014 za całą sesję.

Klasyfikator wsadowy

200 tokenów wejściowych i 10 tokenów wyjściowych na element, jeden milion elementów. Wejście: 200 mln × $0,15 za 1 mln = $30. Wyjście: 10 mln × $0,50 za 1 mln = $5. Łącznie: $35. Tutaj wolumen jest duży, ale koszt i tak jest mały, ponieważ wyjścia są znikome.

Miesięczny budżet na trzech poziomach użycia

Używając zapytania z 1 000 tokenami wejściowymi i 500 wyjściowymi za $0,0004 każde, oto jak wygląda miesiąc (30 dni) przy różnych wolumenach.

Zużycie	Zapytania dziennie	Zapytania miesięcznie	Miesięczny koszt
Bot hobbystyczny	1 000	30 000	$12
Mały produkt	10 000	300 000	$120
Zajęta usługa	100 000	3 000 000	$1 200

Tabela skaluje się liniowo, więc jeśli Twoje średnie zapytanie jest dwa razy dłuższe, podwój koszt. Bot hobbystyczny mieści się łatwo w minimalnym doładowaniu: $20 wystarcza na 50 000 zapytań tego rozmiaru, a kredyt nigdy nie wygasa, więc niewykorzystane środki po prostu czekają.

Dlaczego rachunek kończy się wyższy niż szacowany

Szacunki zawodzą w przewidywalny sposób. Sprawdź to, zanim uznasz, że narzędzie jest drogie.

• Historia ponownie wysyłana w każdej turze. Każda nowa wiadomość zawiera wszystkie poprzednie. Rozmowa o 50 turach to nie 50 małych zapytań; te późniejsze są duże. Powyższy przykład z grą fabularną pokazuje ten wzrost.
• Rozwlekłe odpowiedzi. Tokeny wyjściowe kosztują więcej. Jeśli potrzebujesz tylko etykiety lub krótkiej odpowiedzi, wskaż to w promptie i ustaw max_tokens.
• Ponowne próby w Twoim kodzie. Pętla ponawiająca zapytanie po przekroczeniu limitu czasu może podwoić wydatki. Pamiętaj, że w tym API nie obciąża się za zapytania nieudane lub odrzucone.
• Duży wklejony kontekst. Włożenie pliku o rozmiarze 60 000 tokenów do każdego wywołania jest łatwe do zrobienia i łatwe do zapomnienia.

Sposoby na obniżenie kosztów

Większość oszczędności pochodzi z wysyłania mniejszej liczby tokenów, a nie z wyszukiwania tańszego modelu.

1. Obetnij lub podsumuj stare tury czatu, gdy przestaną mieć znaczenie.
2. Umieść stabilne instrukcje w jednym krótkim komunikacie systemowym zamiast powtarzać je w każdej wiadomości użytkownika.
3. Poproś o wyjście strukturalne w trybie JSON (response_format: {"type":"json_object"}), aby nie płacić za gadatliwy tekst wokół danych.
4. Użyj sekwencji stop, aby zakończyć generowanie tam, gdzie wymaga tego parser.
5. Grupuj małe elementy w jedno zapytanie, gdy każdy element jest znikomy.

Możesz śledzić efekt bezpośrednio. Każda odpowiedź zawiera nagłówek X-Balance-USD, a odpowiedzi strumieniowe raportują użycie na końcu. Ten skrypt wyświetla koszt jednego wywołania:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllm.com/v1", api_key="YOUR_API_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain tokens in two sentences."}],
    max_tokens=150,
)
u = r.usage
cost = u.prompt_tokens / 1_000_000 * 0.15 + u.completion_tokens / 1_000_000 * 0.50
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

Oszacuj własny koszt przed zbudowaniem

Policz swoje prawdziwe tokeny na kilku typowych zapytaniach, a następnie pomnóż. Krótka funkcja wykonuje obliczenia dla dowolnego średniego rozmiaru.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllm.com/v1", api_key="YOUR_API_KEY")

def monthly_cost(requests_per_month, avg_in, avg_out):
    return requests_per_month * (avg_in * 0.15 + avg_out * 0.50) / 1_000_000

print(monthly_cost(30_000, 1000, 500))    # 12.0
print(monthly_cost(10_000, 3000, 800))    # 8.5

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say hello."}],
    max_tokens=10,
)
print(r.usage.prompt_tokens, r.usage.completion_tokens)

Uruchom dwadzieścia typowych promptów przez konto próbne, uśrednij wartości usage i podstaw je do funkcji. Da Ci to wynik oparty na Twoim produkcie, a nie na ogólnym przykładzie.

Własny hosting: kiedy ma sens

Uruchomienie modelu o otwartych wagach samodzielnie usuwa opłatę za token, ale zastępuje ją kosztami stałymi: GPU z wystarczającą pamięcią, prądem, czasem konfiguracji i aktualizacjami. Koszty te są ponoszone niezależnie od tego, czy maszyna jest zajęta, czy bezczynna. Własny hosting zwykle wygrywa, gdy masz stały, wysoki wolumen lub surową potrzebę utrzymania wszystkiego na własnej maszynie. Przy okazjonalnym użyciu, szczytach ruchu lub prototypie płacenie za token jest prostsze i zwykle tańsze, ponieważ bezczynne API nic nie kosztuje.

Sprawiedliwe porównanie wymaga Twoich własnych liczb: miesięcznego wolumenu tokenów, ceny sprzętu i wartości Twojego czasu. Użyj powyższych wzorów dla strony API, a następnie wycenij stronę sprzętową na podstawie rzeczywistych ofert. Jeśli chcesz szerszego obrazu uruchamiania modeli open-source, przewodnik po czacie LLM bez cenzury obejmuje opcje integracji.

Cennik i doładowania w tej usłudze

Rozliczenie jest przedpłacone i według zużycia. Możesz doładować dowolną kwotę całkowitą od $20 do $500, a większe doładowania dają bonus: +5% od $50, +10% od $100 i +15% od $200. Doładowanie $100 przekłada się na $110 kredytu. Płatność w kryptowalutach: USDT na TRC20 lub USDC na Base. Kredyt nigdy nie wygasa, a subskrypcji nie ma.

Nowi użytkownicy mogą jednym kliknięciem na stronie klucza API uzyskać $0,50 kredytu próbnego. Jest ważny przez 7 dni, nie wymaga podania danych płatności i przysługuje jeden na osobę. Przy koszcie $0,0004 za 1 000 tokenów wejściowych i 500 tokenów wyjściowych, wystarcza on na około 1 250 zapytań, co pozwala zmierzyć własny średni koszt przed wpłatą jakichkolwiek środków. Na stronie z cenami znajdziesz stawki, a w dokumentacji — format zapytania.

Więcej przewodników

• Najlepszy lokalny LLM do programowania w Pythonie: Lokalny czy hostowane API?
• Czat LLM bez cenzury: Przewodnik po integracji i przypadki użycia