Стоимость оборудования для локальной LLM: когда API дешевле
Для работы локальной модели требуется GPU с большим объёмом памяти, достойная хост-машина и значительные счета за электричество. В пересчёте на три года это выходит далеко за рамки ежемесячных расходов большинства пользователей на токены.


Ключевые моменты
- Память на GPU, а не чистая скорость, определяет, что вы можете запустить и сколько заплатите.
- При приведённой ниже конфигурации точка безубыточности составляет около 232 млн токенов в месяц, что примерно равно 18 часам генерации каждый день.
- API выигрывает при низком и скачкообразном объёме; локальная LLM — при постоянной высокой нагрузке, требовании приватности и автономной работе.
- Относитесь к каждой цене на оборудование в этой статье как к ориентировочной и проверяйте текущие рыночные цены.
Что влияет на цену
Стоимость оборудования для локальной LLM в основном определяется одним компонентом: видеокартой, а именно её объёмом видеопамяти. Веса модели должны помещаться в VRAM или в более медленную смесь VRAM и системной ОЗУ. Грубое правило для самих весов: параметры × биты на вес / 8. Модели с 8 млрд параметров при 4-битном квантовании нужно около 4 ГБ. Модели на 70 млрд параметров при 4-битном квантовании нужно около 35 ГБ. Кроме того, нужно место для KV-кэша, который растёт с длиной контекста, и некоторый оверхед.
Именно поэтому кривая цен круто идёт вверх. Видеокарта с 12 ГБ памяти тянет маленькие модели. Карта на 24 ГБ уверенно обрабатывает модели среднего размера. Более крупные конфигурации означают использование двух карт или оборудования для рабочих станций. Скорость менее важна, чем ёмкость: более медленная карта, которая помещает модель, лучше, чем быстрая, которая не помещает.
Бюджетная, средняя и большая сборка
Указанные ниже цены — иллюстративные предположения, не котировки. Цены на новые и б/у компоненты постоянно меняются, поэтому замените их на то, что вы реально найдёте. Главное — форма расчёта.
| Наименование | Малая сборка | Средняя сборка | Большая сборка |
|---|---|---|---|
| Память GPU | 12 ГБ | 24 ГБ | 2 x 24 ГБ |
| GPU (предположительно) | $350 | $800 | $1,600 |
| CPU, материнская плата, 32–64 ГБ ОЗУ, SSD (предположительно) | $500 | $600 | $900 |
| Блок питания, корпус, охлаждение (предположительно) | $150 | $100 | $200 |
| Итого (предположительно) | $1 000 | $1 500 | $2 700 |
Если у вас уже есть игровой ПК с подходящей видеокартой, ваши предельные затраты на оборудование равны нулю, и баланс аргументов в статье сильно смещается в пользу локального решения. Если вы покупаете новое оборудование, таблица ближе к истине.
Переводим покупку в ежемесячные расходы
Распределите стоимость сборки на реалистичный срок службы и добавьте электроэнергию. Средняя сборка за $1 500 на 36 месяцев обходится в $41,67 в месяц. Добавьте электроэнергию для компьютера, который генерирует около четырёх часов в день: при нагрузке 450 Вт, в простое 60 Вт и тарифе $0,15 за кВт·ч это $13,50 в месяц. Итого: $55,17 в месяц.
| Сборка | Оборудование в месяц (36 месяцев) | Электричество в месяц (4 ч/день) | Итого в месяц |
|---|---|---|---|
| Базовая | $27,78 | $13,50 | $41,28 |
| Средняя | $41,67 | $13,50 | $55,17 |
| Большая | $75,00 | $23,40 | $98,40 |
Значение потребления для большой сборки предполагает 800 Вт под нагрузкой и 100 Вт в простое: 3,2 кВт·ч плюс 2,0 кВт·ч в день составляет 5,2 кВт·ч, умноженное на 30 — 156 кВт·ч, умноженное на $0,15 — $23,40.
Точка безубыточности по сравнению с ценой за токен
Теперь переведём эту ежемесячную сумму в токены. Предположим, что трафик чата имеет соотношение трёх входных токенов на один выходной. Один миллион выходных токенов плюс три миллиона входных токенов стоят 1 x $0,50 + 3 x $0,15 = $0,95 за четыре миллиона токенов, то есть $0,2375 за 1 млн. Для средней сборки:
- $55,17, делённые на $0,2375 за 1 млн, дают около 232 млн токенов в месяц в точке безубыточности.
- Четверть из этого — токены вывода: примерно 58 млн токенов вывода.
- При скорости 30 токенов в секунду одна машина произведёт около 77,8 млн выходных токенов, если будет работать на полную мощность 30 дней (2,592 млн секунд × 30).
58 млн выходных токенов при скорости 30 в секунду занимают 1,94 млн секунд, около 538 часов, что составляет 17,9 часов генерации каждый день. Один человек, набирающий промпты, этого не делает. Пакетный конвейер или сервис с множеством пользователей — может.
Где локальная LLM всё ещё имеет смысл
Точка безубыточности показывает, что API дешевле для большинства частных лиц. Это не значит, что локальная LLM бессмысленна. Причины купить оборудование всё равно:
- У вас уже есть видеокарта. Тогда учитывается только электричество.
- Постоянная нагрузка. Конвейер, работающий весь день, например массовая классификация, может занять GPU настолько, чтобы превысить точку безубыточности.
- Автономная или изолированная работа. Нет сети, нет счёта за токены, данные не покидают здание.
- Эксперименты с весами. Если вы хотите изменить квантование, объединить модели или запустить собственное дообучение, вам нужны файлы на вашем диске.
Для более широкого обзора того, сколько в целом стоят LLM, см. страницу о стоимости LLM. Причины арендовать вместо покупки: рывковая нагрузка, множество экспериментов с разными размерами, необходимость длинного контекста без покупки большего объёма VRAM и нежелание поддерживать драйверы и серверы инференса. Хостинг-опция здесь имеет контекстное окно на 100 000 токенов, что потребовало бы большого объёма памяти для KV-кэша дома.
Три человека — три ответа
Числам легче доверять, когда они соответствуют реальной ситуации. Вот три профиля, оценённые в $0,15 и $0,50 за 1 млн токенов с соотношением входных и выходных токенов 3:1.
- Любитель общается по часу или два в день и отправляет в общей сложности около 10M токенов в месяц. При смешанной цене $0,2375 за 1M это $2,38. Сравните это с $41,28 в месяц даже за базовую сборку. API примерно в семнадцать раз дешевле.
- Разработчик запускает помощника для редактора и тестовые скрипты, около 60 млн токенов в месяц: $14,25 по API. Средняя сборка стоит $55,17 в месяц, поэтому API всё ещё выигрывает с большим отрывом, если только карта ещё не была куплена.
- Оператор пакетной обработки классифицирует документы круглосуточно, 400M токенов в месяц: $95,00 через API. Сборка среднего уровня за $55,17 дешевле, если она действительно может обработать такой объём, но при скорости 30 токенов в секунду на вывод она достигает предела около 77.8M выходных токенов в месяц, что составляет около 311M токенов всего при том же соотношении. Поэтому оператору нужна вторая карта или он должен смириться с меньшим объёмом, что увеличивает локальную стоимость.
Шаблон последователен: API выигрывает, пока нагрузка постоянна и велика, а локальная ёмкость становится узким местом. Также различается конкурентность. Полноценный ключ здесь позволяет 8 параллельных запросов, тогда как одна настольная видеокарта обычно обслуживает один запрос за раз на полной скорости.
Тратите меньше, и что упускает чек
Способы сэкономить на оборудовании
- Купите б/у. Видеокарты предыдущего поколения с 24 ГБ памяти часто являются лучшим соотношением цены и гигабайта. Проверьте продавца и протестируйте карту под нагрузкой при получении.
- Выгрузка слоёв. Движки инференса, такие как llama.cpp, могут хранить часть модели в системной оперативной памяти. Она работает, но медленнее, поэтому используйте это только когда скорость не имеет значения.
- Выберите меньшую модель. Хорошо настроенная модель 8B на карте с 12 ГБ памяти покрывает множество повседневных задач. Платите за размер только тогда, когда задача этого требует.
- Арендуйте время GPU почасово. Аренда GPU в облаке позволяет избежать покупки, но имеет свои почасовые тарифы, поэтому проверьте их текущие цены и сравните с тарификацией за токен.
Скрытые расходы, которые забывают
- Амортизация. Видеокарты теряют остаточную стоимость по мере появления новых моделей. Срок службы в 36 месяцев, указанный выше, — это предположение.
- Выход из строя и замена. Неисправный блок питания или вентилятор — это непредвидённые расходы.
- Обновления. Новые модели с открытыми весами обычно больше. Карта, которая подходит для любимой модели сегодня, может не подойти для модели будущего года.
- Время. Настройка, обновления и отладка — это реальные часы. Если вы цените своё время, добавьте их стоимость.
- Шум и тепло. Машина мощностью 450 Вт в маленькой комнате слышна и тёплая.
Ничего из этого не появляется в чеке, поэтому сборка часто кажется дешевле в голове людей, чем она есть на самом деле.
Проверьте свою точку безубыточности
Введите свои числа и запустите это. Он берёт вашу общую ежемесячную стоимость локальной модели и выводит объём токенов в месяц, при котором API сравняется с ней по стоимости, по ценам этого сервиса.
local_monthly = 55.17 # hardware per month + electricity
in_price, out_price = 0.15, 0.50 # dollars per 1M tokens
ratio = 3 # input tokens per output token
blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")Если ваш реальный объём значительно ниже, используйте API. Чтобы измерить свой объём, получите пробный баланс на странице API-ключа, запустите свои реальные промпты на https://api.uncensoredlocalllm.com/v1 с моделью uncensored и прочитайте использование токенов в каждом ответе. См. документацию для формата запроса и страницу с ценами для пополнения.
Дополнительные руководства
Вопросы и ответы
Сколько стоит ПК, способный запускать LLM локально?
Это зависит от размера модели, которую вы хотите. При приведённых в этой статье условных ценах малая сборка стоит около $1 000, а средняя сборка с картой на 24 ГБ — около $1 500. Проверьте текущие рыночные цены, прежде чем планировать.
Мне нужна видеокарта для запуска локальной LLM?
Нет, маленькие модели работают на CPU с достаточным объёмом RAM, но генерация значительно медленнее. Видеокарта с достаточной памятью для весов — вот что делает это практичным.
Когда локальная LLM дешевле API?
Когда машина работает много часов в день, когда у вас уже есть оборудование или когда вам нужна автономная работа. По ценам в этой статье сборка среднего уровня выходит на точку безубыточности при использовании около 18 часов генерации в день.
Могу ли я попробовать API перед покупкой оборудования?
Да. Новые пользователи могут получить $0,50 пробного баланса без карты и запустить свои реальные промпты, чтобы увидеть качество и стоимость.
uncensoredlocalllm.com
Ваш ключ — всего в одной форме
Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.