RU ▾
Получить API-ключ

uncensoredlocalllm.comГид

Стоимость оборудования для локальной LLM: когда API дешевле

Для работы локальной модели требуется GPU с большим объёмом памяти, достойная хост-машина и значительные счета за электричество. В пересчёте на три года это выходит далеко за рамки ежемесячных расходов большинства пользователей на токены.

Обновлено

Весы, сравнивающие оборудование ПК с облаком токенов, показывающие стоимость оборудования локальной LLM по сравнению с API
Изометрическая иллюстрация локального GPU, подключенного к хостинговому облаку, представляющая локальные и API-модели для кодирования

Ключевые моменты

  • Память на GPU, а не чистая скорость, определяет, что вы можете запустить и сколько заплатите.
  • При приведённой ниже конфигурации точка безубыточности составляет около 232 млн токенов в месяц, что примерно равно 18 часам генерации каждый день.
  • API выигрывает при низком и скачкообразном объёме; локальная LLM — при постоянной высокой нагрузке, требовании приватности и автономной работе.
  • Относитесь к каждой цене на оборудование в этой статье как к ориентировочной и проверяйте текущие рыночные цены.

Что влияет на цену

Стоимость оборудования для локальной LLM в основном определяется одним компонентом: видеокартой, а именно её объёмом видеопамяти. Веса модели должны помещаться в VRAM или в более медленную смесь VRAM и системной ОЗУ. Грубое правило для самих весов: параметры × биты на вес / 8. Модели с 8 млрд параметров при 4-битном квантовании нужно около 4 ГБ. Модели на 70 млрд параметров при 4-битном квантовании нужно около 35 ГБ. Кроме того, нужно место для KV-кэша, который растёт с длиной контекста, и некоторый оверхед.

Именно поэтому кривая цен круто идёт вверх. Видеокарта с 12 ГБ памяти тянет маленькие модели. Карта на 24 ГБ уверенно обрабатывает модели среднего размера. Более крупные конфигурации означают использование двух карт или оборудования для рабочих станций. Скорость менее важна, чем ёмкость: более медленная карта, которая помещает модель, лучше, чем быстрая, которая не помещает.

Бюджетная, средняя и большая сборка

Указанные ниже цены — иллюстративные предположения, не котировки. Цены на новые и б/у компоненты постоянно меняются, поэтому замените их на то, что вы реально найдёте. Главное — форма расчёта.

НаименованиеМалая сборкаСредняя сборкаБольшая сборка
Память GPU12 ГБ24 ГБ2 x 24 ГБ
GPU (предположительно)$350$800$1,600
CPU, материнская плата, 32–64 ГБ ОЗУ, SSD (предположительно)$500$600$900
Блок питания, корпус, охлаждение (предположительно)$150$100$200
Итого (предположительно)$1 000$1 500$2 700

Если у вас уже есть игровой ПК с подходящей видеокартой, ваши предельные затраты на оборудование равны нулю, и баланс аргументов в статье сильно смещается в пользу локального решения. Если вы покупаете новое оборудование, таблица ближе к истине.

Переводим покупку в ежемесячные расходы

Распределите стоимость сборки на реалистичный срок службы и добавьте электроэнергию. Средняя сборка за $1 500 на 36 месяцев обходится в $41,67 в месяц. Добавьте электроэнергию для компьютера, который генерирует около четырёх часов в день: при нагрузке 450 Вт, в простое 60 Вт и тарифе $0,15 за кВт·ч это $13,50 в месяц. Итого: $55,17 в месяц.

СборкаОборудование в месяц (36 месяцев)Электричество в месяц (4 ч/день)Итого в месяц
Базовая$27,78$13,50$41,28
Средняя$41,67$13,50$55,17
Большая$75,00$23,40$98,40

Значение потребления для большой сборки предполагает 800 Вт под нагрузкой и 100 Вт в простое: 3,2 кВт·ч плюс 2,0 кВт·ч в день составляет 5,2 кВт·ч, умноженное на 30 — 156 кВт·ч, умноженное на $0,15 — $23,40.

Точка безубыточности по сравнению с ценой за токен

Теперь переведём эту ежемесячную сумму в токены. Предположим, что трафик чата имеет соотношение трёх входных токенов на один выходной. Один миллион выходных токенов плюс три миллиона входных токенов стоят 1 x $0,50 + 3 x $0,15 = $0,95 за четыре миллиона токенов, то есть $0,2375 за 1 млн. Для средней сборки:

  • $55,17, делённые на $0,2375 за 1 млн, дают около 232 млн токенов в месяц в точке безубыточности.
  • Четверть из этого — токены вывода: примерно 58 млн токенов вывода.
  • При скорости 30 токенов в секунду одна машина произведёт около 77,8 млн выходных токенов, если будет работать на полную мощность 30 дней (2,592 млн секунд × 30).

58 млн выходных токенов при скорости 30 в секунду занимают 1,94 млн секунд, около 538 часов, что составляет 17,9 часов генерации каждый день. Один человек, набирающий промпты, этого не делает. Пакетный конвейер или сервис с множеством пользователей — может.

Где локальная LLM всё ещё имеет смысл

Точка безубыточности показывает, что API дешевле для большинства частных лиц. Это не значит, что локальная LLM бессмысленна. Причины купить оборудование всё равно:

  • У вас уже есть видеокарта. Тогда учитывается только электричество.
  • Постоянная нагрузка. Конвейер, работающий весь день, например массовая классификация, может занять GPU настолько, чтобы превысить точку безубыточности.
  • Автономная или изолированная работа. Нет сети, нет счёта за токены, данные не покидают здание.
  • Эксперименты с весами. Если вы хотите изменить квантование, объединить модели или запустить собственное дообучение, вам нужны файлы на вашем диске.

Для более широкого обзора того, сколько в целом стоят LLM, см. страницу о стоимости LLM. Причины арендовать вместо покупки: рывковая нагрузка, множество экспериментов с разными размерами, необходимость длинного контекста без покупки большего объёма VRAM и нежелание поддерживать драйверы и серверы инференса. Хостинг-опция здесь имеет контекстное окно на 100 000 токенов, что потребовало бы большого объёма памяти для KV-кэша дома.

Три человека — три ответа

Числам легче доверять, когда они соответствуют реальной ситуации. Вот три профиля, оценённые в $0,15 и $0,50 за 1 млн токенов с соотношением входных и выходных токенов 3:1.

  • Любитель общается по часу или два в день и отправляет в общей сложности около 10M токенов в месяц. При смешанной цене $0,2375 за 1M это $2,38. Сравните это с $41,28 в месяц даже за базовую сборку. API примерно в семнадцать раз дешевле.
  • Разработчик запускает помощника для редактора и тестовые скрипты, около 60 млн токенов в месяц: $14,25 по API. Средняя сборка стоит $55,17 в месяц, поэтому API всё ещё выигрывает с большим отрывом, если только карта ещё не была куплена.
  • Оператор пакетной обработки классифицирует документы круглосуточно, 400M токенов в месяц: $95,00 через API. Сборка среднего уровня за $55,17 дешевле, если она действительно может обработать такой объём, но при скорости 30 токенов в секунду на вывод она достигает предела около 77.8M выходных токенов в месяц, что составляет около 311M токенов всего при том же соотношении. Поэтому оператору нужна вторая карта или он должен смириться с меньшим объёмом, что увеличивает локальную стоимость.

Шаблон последователен: API выигрывает, пока нагрузка постоянна и велика, а локальная ёмкость становится узким местом. Также различается конкурентность. Полноценный ключ здесь позволяет 8 параллельных запросов, тогда как одна настольная видеокарта обычно обслуживает один запрос за раз на полной скорости.

Тратите меньше, и что упускает чек

Способы сэкономить на оборудовании

  • Купите б/у. Видеокарты предыдущего поколения с 24 ГБ памяти часто являются лучшим соотношением цены и гигабайта. Проверьте продавца и протестируйте карту под нагрузкой при получении.
  • Выгрузка слоёв. Движки инференса, такие как llama.cpp, могут хранить часть модели в системной оперативной памяти. Она работает, но медленнее, поэтому используйте это только когда скорость не имеет значения.
  • Выберите меньшую модель. Хорошо настроенная модель 8B на карте с 12 ГБ памяти покрывает множество повседневных задач. Платите за размер только тогда, когда задача этого требует.
  • Арендуйте время GPU почасово. Аренда GPU в облаке позволяет избежать покупки, но имеет свои почасовые тарифы, поэтому проверьте их текущие цены и сравните с тарификацией за токен.

Скрытые расходы, которые забывают

  • Амортизация. Видеокарты теряют остаточную стоимость по мере появления новых моделей. Срок службы в 36 месяцев, указанный выше, — это предположение.
  • Выход из строя и замена. Неисправный блок питания или вентилятор — это непредвидённые расходы.
  • Обновления. Новые модели с открытыми весами обычно больше. Карта, которая подходит для любимой модели сегодня, может не подойти для модели будущего года.
  • Время. Настройка, обновления и отладка — это реальные часы. Если вы цените своё время, добавьте их стоимость.
  • Шум и тепло. Машина мощностью 450 Вт в маленькой комнате слышна и тёплая.

Ничего из этого не появляется в чеке, поэтому сборка часто кажется дешевле в голове людей, чем она есть на самом деле.

Проверьте свою точку безубыточности

Введите свои числа и запустите это. Он берёт вашу общую ежемесячную стоимость локальной модели и выводит объём токенов в месяц, при котором API сравняется с ней по стоимости, по ценам этого сервиса.

local_monthly = 55.17        # hardware per month + electricity
in_price, out_price = 0.15, 0.50   # dollars per 1M tokens
ratio = 3                    # input tokens per output token

blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")

Если ваш реальный объём значительно ниже, используйте API. Чтобы измерить свой объём, получите пробный баланс на странице API-ключа, запустите свои реальные промпты на https://api.uncensoredlocalllm.com/v1 с моделью uncensored и прочитайте использование токенов в каждом ответе. См. документацию для формата запроса и страницу с ценами для пополнения.

Вопросы и ответы

Сколько стоит ПК, способный запускать LLM локально?

Это зависит от размера модели, которую вы хотите. При приведённых в этой статье условных ценах малая сборка стоит около $1 000, а средняя сборка с картой на 24 ГБ — около $1 500. Проверьте текущие рыночные цены, прежде чем планировать.

Мне нужна видеокарта для запуска локальной LLM?

Нет, маленькие модели работают на CPU с достаточным объёмом RAM, но генерация значительно медленнее. Видеокарта с достаточной памятью для весов — вот что делает это практичным.

Когда локальная LLM дешевле API?

Когда машина работает много часов в день, когда у вас уже есть оборудование или когда вам нужна автономная работа. По ценам в этой статье сборка среднего уровня выходит на точку безубыточности при использовании около 18 часов генерации в день.

Могу ли я попробовать API перед покупкой оборудования?

Да. Новые пользователи могут получить $0,50 пробного баланса без карты и запустить свои реальные промпты, чтобы увидеть качество и стоимость.

uncensoredlocalllm.com

Ваш ключ — всего в одной форме

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.