RU ▾
Получить API-ключ

uncensoredlocalllm.comГид

Стоимость электроэнергии для локальной LLM по сравнению с оплатой за токены

Запуск модели на вашем собственном GPU не бесплатен: видеокарта потребляет реальную мощность при генерации, а ПК продолжает потреблять энергию в простое. Вот как это оценить и когда API с оплатой за токен обходится дешевле.

Обновлено

Изометрическая видеокарта, подключенная к счётчику электроэнергии и монетам, иллюстрирующая стоимость электроэнергии для локальных LLM
Изометрическая иллюстрация локального GPU, подключенного к хостинговому облаку, представляющая локальные и API-модели для кодирования

Ключевые моменты

  • Конфигурация для одного пользователя при скорости около 30 токенов в секунду тратит примерно $0,63 электроэнергии на 1 млн выходных токенов, без учёта оборудования.
  • При лёгкой нагрузке API дешевле. При интенсивном ежедневном использовании локальная установка может быть выгоднее только за счёт электроэнергии.
  • Потребление в простое играет большую роль, чем ожидают многие, если ПК работает весь день.
  • Покупка оборудования, а не электроэнергия, обычно определяет точку безубыточности.

Краткий ответ

Стоимость электроэнергии для локальной LLM зависит от трёх параметров: сколько ватт потребляет ваша машина при генерации, сколько часов в день она работает и сколько стоит кВт·ч. Для типичного ПК с одной видеокартой ежемесячные расходы составляют от нескольких долларов до нескольких десятков долларов. Это небольшая сумма по сравнению с ценой оборудования, но она не нулевая и существенна при сравнении с оплатой за токены.

В расчётах ниже используются допущения, которые вы можете заменить на свои. Сторона API использует реальные цены этого сервиса: $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов.

Формула

Электричество — это энергия, умноженная на цену. Энергия в киловатт-часах равна мощности в киловаттах, умноженной на часы.

monthly_kwh  = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwh

Используйте розеточный счётчик, если он у вас есть. Он измеряет потребление всей системы от розетки, за которое вы платите. Чтение номинальной мощности видеокарты из спецификации даёт лишь частичную картину, так как процессор, память, диски, вентиляторы и потери блока питания добавляют к общему потреблению.

Для примеров я предполагаю:

  • 450 Вт в розетке, пока модель генерирует (карта с номиналом около 350 Вт плюс остальная часть системы).
  • 60 Вт от розетки, когда ПК включён, но простаивает.
  • $0,15 за кВт·ч. Это допущение. Тарифы сильно различаются по странам и времени суток, поэтому замените его на значение из вашего счёта.
  • 30 токенов в секунду генерации для одного пользователя. Ваша скорость зависит от модели, её квантования и видеокарты.

Три уровня использования, рассчитано

Рассмотрим лёгкого, умеренного и интенсивного пользователя. Машина работает весь день в каждом случае, поэтому часы простоя учитываются.

ИспользованиеГенерация в деньЭнергия в месяцЭлектроэнергия в месяцВыходные токены в месяц
Лёгкий1 час54,9 кВт·ч$8,243,24 млн
Умеренный4 часа90,0 кВт·ч$13,5012,96 млн
Интенсивный12 часов183,6 кВт·ч$27,5438,88 млн

Вот пошаговый расчёт для умеренного пользователя. Генерация: 4 часа × 0,45 кВт = 1,8 кВт·ч в день. Простой: 20 часов × 0,06 кВт = 1,2 кВт·ч в день. Итого 3,0 кВт·ч в день, или 90 кВт·ч за 30 дней, что при $0,15 составляет $13,50. Токены: 4 часа = 14 400 секунд × 30 токенов в секунду = 432 000 токенов в день, или 12,96 млн в месяц.

Обратите внимание, что лёгкий пользователь платит $8,24 всего за 3,24 млн токенов. Электроэнергия в простое составляет большую часть этого счёта: 23 часа простоя при 60 Вт — это 1,38 кВт·ч в день, более чем вдвое больше, чем 0,45 кВт·ч, потраченных на генерацию.

Стоимость тех же токенов через API

Использование чата отправляет больше токенов, чем получает, так как каждый запрос содержит системный промпт и историю диалога. Предположим соотношение три входных токена на каждый выходной, что реалистично для чата с историей. Тогда ежемесячный счёт при $0,15 и $0,50 за 1 млн токенов составит:

ИспользованиеСтоимость выходных токеновСтоимость входных токенов (3x выходные токены)Итого APIЛокальная электроэнергия
Лёгкий3,24 млн × $0,50 = $1,629,72 млн × $0,15 = $1,46$3,08$8,24
Умеренный12,96 млн × $0,50 = $6,4838,88 млн × $0,15 = $5,83$12,31$13,50
Интенсивный38,88 млн × $0,50 = $19,44116,64 млн × $0,15 = $17,50$36,94$27,54

Выделяются два момента. Во-первых, при генерации менее четырёх часов в день API дешевле, чем только электроэнергия. Во-вторых, при двенадцати часах в день локальная установка выигрывает за счёт электроэнергии, так как доля простоя уменьшается, а вы используете оборудование, за которое уже заплатили. Сумма API также включает обработку входных данных, которые ваша видеокарта обрабатывает бесплатно в денежном выражении, но всё равно тратит на них энергию. Обработка промпта (prefill) выполняется быстро, поэтому я исключил её из локальной стороны; это немного благоприятствует локальному решению.

Электроэнергия на миллион токенов

Полезный способ сравнения — стоимость энергии на 1 млн выходных токенов только во время генерации. При 450 Вт и 30 токенах в секунду на миллион токенов уходит около 33 333 секунд, или 9,26 часа. Это 4,17 кВт·ч, что при $0,15 за кВт·ч составляет примерно $0,63. API берёт $0,50 за 1 млн выходных токенов, входные данные тарифицируются отдельно по $0,15.

Таким образом, даже до учёта видеокарты один пользователь, генерирующий со скоростью 30 токенов в секунду, тратит на электроэнергию больше на один выходной токен, чем стоит API. Разница сокращается только если ваше оборудование быстрее или электроэнергия дешевле. При 60 токенах в секунду те же расчёты дают около $0,31. При $0,08 за кВт·ч и 30 токенах в секунду результат около $0,33. Любое из этих изменений меняет ответ, поэтому проведите собственные расчёты.

Пакетная обработка — это исключение. Сервер, обрабатывающий несколько запросов одновременно, расходует значительно меньше энергии на каждый токен, поэтому хостинг-провайдеры могут устанавливать низкие цены. На рабочем столе, которым пользуется один человек, это редко приносит пользу.

Что упускает формула

  • Оборудование. GPU, способный запускать полезную модель, стоит гораздо дороже, чем год электроэнергии выше. В пересчёте на весь срок службы он обычно доминирует в общей стоимости. Страница сколько стоит LLM подробно разбирает вопрос покупки.
  • Охлаждение и шум. В жарком климате тепло от 450 Вт также нагружает вашу систему кондиционирования. Зимой оно частично служит полезным отоплением.
  • Большие модели. Модель, требующая двух видеокарт, примерно удваивает показатель нагрузки.
  • Ваше время. Обновление драйверов, выбор квантизаций и устранение ошибок нехватки памяти (OOM) — это работа, которую API устраняет.

С другой стороны, локальная модель не требует дополнительных затрат за дополнительный запрос и работает автономно. Если вы запускаете её много часов в день, это имеет значение.

Способы снижения локальных расходов

Если вы остаётесь на локальном решении, несколько привычек снижают показатель, не затрагивая саму модель.

  • Отправляйте машину в спящий режим. Переход с 60 Вт в простое весь день к спящему режиму на 16 из 20 часов простоя экономит около 29 кВт·ч в месяц в умеренном случае, примерно $4,32 при цене $0,15.
  • Ограничьте лимит мощности GPU. Многие видеокарты теряют немного скорости генерации, когда лимит мощности снижается на 20–30 процентов. Протестируйте свою карту, так как результаты варьируются в зависимости от модели и драйвера.
  • Используйте меньшую квантизацию или модель для рутинных задач. Меньше байт на вес означает меньший трафик памяти и часто более быструю генерацию, что сокращает часы, когда карта занята.
  • Работайте по тарифу с учётом времени. Если ваш поставщик электроэнергии взимает меньше ночью, планируйте пакетные задания на это время.

Проверьте экономию от сна: 16 часов × 0,06 кВт = 0,96 кВт·ч в день, × 30 = 28,8 кВт·ч, × $0,15 = $4,32. Всё это не меняет порядок величины. Электроэнергия остаётся небольшой частью общих расходов по сравнению с самим оборудованием.

Проверка API-стороны с реальными цифрами

Вы можете недорого сравнить оценку API с вашей собственной нагрузкой. Новые пользователи могут получить $0,50 пробного баланса в один клик на странице ключей API после регистрации, без привязки карты, на 7 дней. Отправьте несколько реалистичных запросов, затем прочитайте заголовок ответа X-Balance-USD, чтобы узнать, сколько они стоят.

curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'

Сравните баланс до и после, масштабируйте по ожидаемому количеству запросов и сопоставьте с вашей оценкой электроэнергии. Текущие тарифы и бонусы за пополнение указаны на странице тарифов, а детали запросов — в документации.

Вопросы и ответы

Сколько электроэнергии потребляет локальная LLM?

Настольный ПК с одной видеокартой обычно потребляет несколько сотен ватт при генерации и значительно меньше 100 Вт в простое. Измерьте потребление с помощью розеточного счётчика, подключённого к сети, затем умножьте на количество часов и вашу цену за кВт·ч.

Модель простаивает большую часть времени?

Для большинства персональных установок да. Потребление в простое может быть больше, чем энергия генерации, поэтому перевод ПК в спящий режим между сессиями снижает счёт.

Дешевле ли локальная LLM, чем API?

При лёгком или умеренном использовании обычно нет, если учитывать электроэнергию, и совсем нет, если учитывать оборудование. При многих часах ежедневной генерации это может быть выгоднее только за счёт электроэнергии.

Могу ли я протестировать стоимость API, не платя?

Да. Пробный баланс в $0,50, активируемый в один клик, не требует привязки карты, а заголовок баланса показывает стоимость каждого запроса.

uncensoredlocalllm.com

Ваш ключ — всего в одной веб-форме

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.