LLM 비용은 얼마일까? 토큰별 계산과 예시

LLM 결제 방법 3가지

LLM 비용이 얼마나 들까 궁금하시다면, 먼저 어떤 종류의 비용을 의미하는지 구분해야 합니다. 세 가지가 있으며, 동일한 기준으로 비교해야만 비교할 수 있습니다.

모델	다음에 대해 비용을 지불합니다:	비용 구조
호스팅 API	송수신 토큰	대기 중에는 0, 사용량에 따라 증가
채팅 구독	채팅 앱용 월별 플랜	대부분의 경우 API 접근 없이 고정 요금
자체 호스팅	GPU, 전력, 설정 및 유지보수	높은 고정 비용, 추가 요청당 낮은 비용

이 글은 호스팅된 API 사례에 중점을 둡니다. 이 경우에만 사전에 비용을 계산할 수 있기 때문입니다. 다른 공급업체의 경우 현재 가격 페이지를 확인하십시오. 가격은 변경되며 여기서는 언급하지 않습니다.

API 비용 계산 공식

모든 요청에는 입력 측(프롬프트, 시스템 메시지 및 채팅 기록)과 출력 측(모델이 작성한 내용)이 있습니다. 둘 다 토큰으로 계산되며, 토큰은 영어 단어의 약 3/4 정도에 해당합니다. 비용은 다음과 같습니다:

비용 = (입력 토큰 / 1,000,000 x 입력 가격) + (출력 토큰 / 1,000,000 x 출력 가격)

이 서비스에서 입력 가격은 토큰 1M당 $0.15, 출력 가격은 토큰 1M당 $0.50입니다. 출력은 입력보다 약 3배 이상 비싸므로, 긴 답변은 긴 질문보다 훨씬 비쌉니다.

수동으로 수행한 요청 하나입니다. 프롬프트 1,000 토큰과 응답 500 토큰:

• 입력: 1,000 / 1,000,000 x $0.15 = $0.00015
• 출력: 500 / 1,000,000 x $0.50 = $0.00025
• 합계: $0.0004

이는 0.04센트입니다. 규모를 키우면: 1,000개의 요청 비용은 $0.40, 100,000개의 요청 비용은 $40입니다.

실제 워크로드를 위한 계산 예시

지원 챗봇

월 10,000회 대화라고 가정합니다. 각 대화는 총 3,000개의 입력 토큰(시스템 프롬프트 및 턴별 기록 포함)을 보내고 800개의 출력 토큰을 받습니다. 입력: 30M 토큰 x 토큰 1M당 $0.15 = $4.50. 출력: 8M 토큰 x 토큰 1M당 $0.50 = $4.00. 월 합계: $8.50.

문서 요약

50,000개 토큰의 문서와 1,000개 토큰의 요약문입니다. 입력: 0.05M x $0.15 = $0.0075. 출력: 0.001M x $0.50 = $0.0005. 문서당 $0.008이며, 1,000개 문서는 $8.00이 됩니다. 입력만으로도 전체 100,000개 토큰 컨텍스트 창을 채우면 $0.015가 발생합니다.

긴 역할극 또는 동반자 세션

프롬프트는 500개 토큰으로 시작하여 기록이 다시 전송되므로 각 턴마다 350개 토큰씩 증가합니다. 20번의 턴 동안 모델은 76,500개의 입력 토큰을 읽고 5,000개의 출력 토큰을 작성합니다. 입력: 0.0765M x $0.15 = 약 $0.0115. 출력: 0.005M x $0.50 = $0.0025. 전체 세션 비용은 약 $0.014입니다.

배치 분류기

항목당 입력 토큰 200개와 출력 토큰 10개, 총 100만 개 항목. 입력: 200M x 토큰 100만 개당 $0.15 = $30. 출력: 10M x 토큰 100만 개당 $0.50 = $5. 총합: $35. 여기서 양은 많지만 출력물이 매우 작기 때문에 비용은 여전히 작습니다.

세 가지 사용 수준별 월별 예산

입력 1,000개, 출력 500개 요청당 $0.0004의 비용으로, 다양한 양에서 30일짜리 한 달이 어떻게 보이는지 확인하세요.

사용	일일 요청 수	월간 요청 수	월 비용
취미용 봇	1,000	30,000	$12
소형 제품	10,000	300,000	$120
활발한 서비스	100,000	3,000,000	$1,200

표는 선형적으로 확장되므로, 평균 요청 길이가 두 배라면 비용도 두 배가 됩니다. 취미용 봇은 최소 충전 금액에도 쉽게 맞습니다: $20으로 이 크기의 50,000개 요청을 처리할 수 있으며, 크레딧은 만료되지 않으므로 미사용 잔액은 그대로 유지됩니다.

견적보다 청구 금액이 높아지는 이유

견적은 예측 가능한 방식으로 빗나갑니다. 도구가 비싸다고 판단하기 전에 다음 사항을 확인하세요.

• 매 턴마다 이력이 다시 전송됩니다. 새로운 메시지마다 이전 메시지 전체가 포함됩니다. 50턴의 채팅은 작은 요청 50개가 아닙니다; 후반부의 요청은 큽니다. 위의 역할극 예시는 이러한 증가를 보여줍니다.
• 긴 출력 출력 토큰은 비용이 더 듭니다. 라벨이나 짧은 답변만 필요하면 프롬프트에 명시하고 max_tokens을 설정하세요.
• 자체 코드 내 재시도 타임아웃 후 요청을 재전송하는 루프는 중복 지출을 유발할 수 있습니다. 이 API에서는 실패하거나 거부된 요청에는 요금이 청구되지 않는다는 점에 유의하세요.
• 대용량 컨텍스트 붙여넣기 60,000토큰 파일의 내용을 모든 호출에 넣는 것은 쉽게 할 수 있지만 쉽게 잊어버릴 수도 있습니다.

비용 절감 방법

대부분의 절감 효과는 더 저렴한 모델을 찾는 것이 아니라 전송하는 토큰 수를 줄이는 데서 나옵니다.

1. 더 이상 중요하지 않은 이전 대화 턴은 정리하거나 요약하세요.
2. 모든 사용자 메시지에 반복하지 말고 짧은 시스템 메시지 하나에 안정적인 지시사항을 넣으세요.
3. JSON 모드(response_format: {"type":"json_object"})로 구조화된 출력을 요청하여 데이터 주변의 불필요한 텍스트에 대한 비용을 지불하지 마세요.
4. stop 시퀀스를 사용하여 파서가 필요로 하는 시점에 생성을 종료하세요.
5. 각 항목이 매우 작다면 여러 항목을 하나의 요청으로 배치하세요.

효과를 직접 추적할 수 있습니다. 각 응답에는 X-Balance-USD 헤더가 포함되며, 스트리밍 응답은 마지막에 사용량을 보고합니다. 이 스크립트는 한 호출의 비용을 출력합니다:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllm.com/v1", api_key="YOUR_API_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain tokens in two sentences."}],
    max_tokens=150,
)
u = r.usage
cost = u.prompt_tokens / 1_000_000 * 0.15 + u.completion_tokens / 1_000_000 * 0.50
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

빌드 전 자체 비용 견적 산출

일반적인 요청 몇 건에서 실제 토큰 수를 세고 곱하세요. 짧은 함수는 임의의 평균 크기에 대한 계산을 수행합니다.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllm.com/v1", api_key="YOUR_API_KEY")

def monthly_cost(requests_per_month, avg_in, avg_out):
    return requests_per_month * (avg_in * 0.15 + avg_out * 0.50) / 1_000_000

print(monthly_cost(30_000, 1000, 500))    # 12.0
print(monthly_cost(10_000, 3000, 800))    # 8.5

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say hello."}],
    max_tokens=10,
)
print(r.usage.prompt_tokens, r.usage.completion_tokens)

일반적인 프롬프트 20개를 시범용으로 실행하여 usage 수치를 평균내고 함수에 입력하세요. 이렇게 하면 일반적인 예시가 아닌 실제 제품에 기반한 수치를 얻을 수 있습니다.

자체 호스팅: 적합한 경우

오픈 웨이트 모델을 직접 실행하면 토큰당 요금이 사라지지만, 대신 고정 비용이 발생합니다. 충분한 메모리를 가진 GPU, 전기 요금, 설정 시간 및 업데이트 비용이 그것입니다. 이 비용은 머신이 바쁜지 유휴 상태인지에 관계없이 발생합니다. 자체 호스팅은 안정적인 대용량 트래픽이나 모든 것을 자체 머신에 유지해야 하는 엄격한 요구 사항이 있을 때 유리합니다. 가끔 사용하거나 트래픽이 급증하거나 프로토타입인 경우 토큰당 요금을 지불하는 것이 더 간단하고 일반적으로 저렴합니다. 유휴 상태의 API에는 비용이 들지 않기 때문입니다.

공정한 비교를 위해서는 자체 수치가 필요합니다. 월간 토큰 사용량, 하드웨어 가격 및 시간의 가치입니다. API 측에는 위의 공식을 사용하고, 하드웨어 측 비용은 실제 견적을 바탕으로 책정하세요. 오픈 모델 운영에 대한 더 넓은 그림을 원한다면 무검열 LLM 채팅 가이드에서 통합 옵션을 다룹니다.

이 서비스의 가격 및 충전

청구는 선불 및 사용량 기반 과금입니다. $20부터 $500까지의 정액으로 충전할 수 있으며, 더 큰 충전 시 보너스가 제공됩니다: $50부터 +5%, $100부터 +10%, $200부터 +15%. $100 충전 시 $110의 크레딧이 됩니다. 결제는 암호화폐로 진행됩니다: TRC20 네트워크의 USDT 또는 Base의 USDC. 크레딧은 만료되지 않으며 구독은 없습니다.

새로운 사용자는 API 키 페이지에서 한 번의 클릭으로 무료 체험 크레딧 $0.50을 받을 수 있습니다. 7일 동안 유효하며 결제 정보를 입력할 필요가 없고, 사람당 1회 한도입니다. 1,000 입력 및 500 출력 요청 1회당 $0.0004이므로 약 1,250건의 요청을 처리할 수 있어, 결제 전 평균 비용을 측정하기에 충분합니다. 가격 페이지에 요금제가 명시되어 있으며, 문서에는 요청 형식이 나와 있습니다.

더 많은 가이드

• Python 코딩을 위한 최고의 로컬 LLM: 로컬 또는 호스팅 API?
• Uncensored LLM Chat: 통합 가이드 및 사용 사례