Лучшая локальная LLM для Python: локально или через API?

Начните с ваших ограничений, а не с названия модели

Вопрос лучшая локальная LLM для Python-кода не имеет однозначного ответа, потому что модели быстро меняются, а ваше оборудование — это реальный предел. Перед сравнением названий запишите четыре вещи:

• Память GPU. Она определяет, какие размеры моделей вы вообще сможете запустить.
• Потребности в контексте. Редактирование одной функции отличается от рассуждений над целым пакетом.
• Правила конфиденциальности. Некоторый код не должен покидать ваш компьютер, что является законной причиной оставаться на локальном решении.
• Толерантность к отказам. Инструменты безопасности, скрейперы, реверс-инжиниринг и фаззеры могут вызывать отказы в сильно отфильтрованных моделях.

Если строгая автономная работа — жесткое требование, вам нужна модель, которую вы запускаете сами. Если нет, хостинговый API снимает вопрос оборудования. Этот сайт относится ко второй группе: это хостинговый API, совместимый с OpenAI, а не локальное окружение, и её стоит протестировать рядом с вашей локальной настройкой.

Сколько GPU-памяти вам нужно

Приблизительное правило для весов: параметры умножить на байты на параметр. При точности 16 бит это 2 байта на параметр; при 8 бит — 1 байт; при 4 бит — около 0,5 байта.

Размер модели	16 бит	8 бит	4 бит
7B	14 ГБ	7 ГБ	3,5 ГБ
14B	28 ГБ	14 ГБ	7 ГБ
32B	64 ГБ	32 ГБ	16 ГБ

Эти цифры — только веса. Вам также нужна память для контекстного кэша, которая растет с промптом, и для самой среды выполнения. Оставьте несколько гигабайт запаса, и больше, если вы планируете вставлять большие файлы. Более сильное квантование экономит память, но может стоить точности, что важно для кода, где один неверный символ ломает программу.

Как справедливо сравнивать модели для кодирования

Публичные рейтинговые таблицы измеряют чужие задачи. Более точный метод занимает час и использует ваш собственный код.

1. Соберите 15–20 реальных задач: баг с непроходящим тестом, функцию по docstring, рефакторинг, запрос на добавление аннотаций типов.
2. Запустите каждую модель с тем же промптом, той же температурой (0,2 — разумный вариант старта для кода) и тем же сидом, где это поддерживается.
3. Оценивайте по запуску тестов, а не по прочтению ответа. Импортирует ли она реальные модули? Проходит ли тест?
4. Отмечайте отказы отдельно. Модель, которая на 5 % лучше пишет код, но отказывается выполнять задачу по сканеру портов, хуже для вас.
5. Записывайте время на задачу и, для хостинговых моделей, стоимость на задачу.

Храните набор тестов в файле, чтобы запускать его снова при появлении новой модели. Это повторное использование стоит больше любого единичного результата.

Тестирование хостингового варианта на тех же задачах

Поскольку API совместим с OpenAI, вашему инструменту нужен только другой базовый URL. Этот скрипт запрашивает функцию, извлекает первый блок Python и запускает его против теста. Идентификатор модели — uncensored.

Copyimport re
import subprocess
import tempfile
from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllm.com/v1", api_key="YOUR_API_KEY")

TASK = "Write a Python function parse_size(text) that converts '10KB' or '2 MB' to bytes."
TEST = "assert parse_size('10KB') == 10240\nassert parse_size('2 MB') == 2 * 1024 * 1024\nprint('ok')"

r = client.chat.completions.create(
    model="uncensored",
    temperature=0.2,
    seed=7,
    messages=[
        {"role": "system", "content": "You write correct Python 3. Reply with one fenced code block and no commentary."},
        {"role": "user", "content": TASK},
    ],
)
text = r.choices[0].message.content
m = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
code = m.group(1) if m else text

with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
    f.write(code + "\n" + TEST)
out = subprocess.run(["python3", f.name], capture_output=True, text=True, timeout=20)
print(out.stdout.strip() or out.stderr.strip())

Запустите тот же список задач против вашей локальной модели и сравните показатели прохождения. Код запускает сгенерированный вывод, поэтому используйте временную директорию или контейнер для всего, кроме учебных примеров.

Где хостинговая модель помогает Python-разработчику

Удалённый эндпоинт подходит не для всех задач, но несколько сценариев ему отлично подходят:

• Большой контекст. Окно рассчитано на 100 000 токенов, промпт плюс завершение. Туда поместятся крупный модуль, его тесты и трассировка стека в одном запросе.
• Вызов функций. Вы можете определить инструменты, такие как run_tests или read_file, и позволить модели вызывать их в цикле, отправляя результаты обратно как сообщения с role: "tool".
• JSON-режим. С параметром response_format: {"type":"json_object"} вы можете получить структурированный обзор кода, например список проблем с номерами строк.
• Меньше отказов при работе с безопасностью. Модель настроена на ответы без отказов по контенту для законного использования взрослыми, что включает тестирование безопасности систем, которыми вы владеете или которые вам разрешено тестировать.

Компромисс очевиден: ваш код покидает ваше оборудование, и вам нужно сетевое подключение. Промпты не используются для обучения, но если ваша политика запрещает отправку кода любой третьей стороне, оставайтесь на локальном решении.

Пусть модель запускает ваши тесты через вызов функций

Вызов функций превращает одноразовый ответ в цикл: модель запрашивает запуск тестов, видит ошибку и исправляет код. Определите один инструмент и обрабатывайте вызов самостоятельно.

Copyimport json
import subprocess
from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllm.com/v1", api_key="YOUR_API_KEY")

tools = [{
    "type": "function",
    "function": {
        "name": "run_tests",
        "description": "Run pytest in the project and return the output",
        "parameters": {"type": "object", "properties": {}, "required": []},
    },
}]

messages = [
    {"role": "system", "content": "You fix Python bugs. Call run_tests to check your work."},
    {"role": "user", "content": "The tests in this project fail. Run them and tell me the first error."},
]

for _ in range(5):
    r = client.chat.completions.create(model="uncensored", messages=messages, tools=tools, temperature=0.2)
    msg = r.choices[0].message
    messages.append(msg)
    if not msg.tool_calls:
        print(msg.content)
        break
    for call in msg.tool_calls:
        out = subprocess.run(["pytest", "-x", "-q"], capture_output=True, text=True)
        messages.append({"role": "tool", "tool_call_id": call.id, "content": (out.stdout + out.stderr)[-4000:]})

Цикл ограничен пятью раундами, чтобы сбитая с толку модель не работала вечно. Держите вывод инструмента коротким, потому что всё, что вы возвращаете, оплачивается как входные данные в следующем раунде. Обрезка до последних 4 000 символов делает каждый ход дешевым.

Стоимость задач по программированию

Промпты для кодирования требуют много входных данных: вы вставляете код и получаете более короткий ответ. Возьмите запрос на рефакторинг с 6 000 входными токенами и 1 500 выходными токенами по цене $0,15 и $0,50 за 1 млн:

• Входные данные: 6 000 / 1 000 000 × $0,15 = $0,0009
• Выход: 1 500 / 1 000 000 x $0,50 = $0,00075
• Итого: $0,00165 за запрос

Тысяча таких запросов стоит $1,65. Пробный баланс $0,50 покрывает около 303 из них, чего достаточно, чтобы запустить бенчмарк из 20 задач несколько раз. Локальный GPU может быть дешевле за запрос при большой нагрузке, но у него есть стартовая цена, и она не падает до нуля, когда вы им не пользуетесь. На странице цен есть полная таблица.

Практические настройки для генерации кода

• Температура 0,1–0,3. Низкие значения уменьшают выдуманные API и случайные изменения стиля.
• Зафиксируйте сид при сравнении промптов, чтобы различия возникали из-за промпта, а не из-за сэмплирования.
• Укажите версию Python и библиотеки в системном сообщении: "Python 3.11, только стандартная библиотека" устраняет множество догадок.
• Запросите тесты вместе с кодом. Модель, которая пишет собственные тесты, часто обнаруживает свои собственные ошибки off-by-one при их запуске.
• Отправляйте падающую трассировку, а не её описание.

Чтобы попробовать, активируйте пробный баланс на странице API-ключа, затем следуйте руководству по быстрому старту. Для использования в стиле чата см. руководство по чату с uncensored LLM. Сервис предназначен для законного использования взрослыми и не генерирует сексуальный контент с участием несовершеннолетних.

Распространённые ошибки при работе с моделями для кода

• Выдуманные импорты и имена функций. Запустите код. Модель может описать метод библиотеки, которого не существует, поэтому тест — единственный судья.
• Устаревший синтаксис. Если вам нужны современные функции, такие как структурное сопоставление с образцом, укажите версию Python в промпте.
• Слишком много контекста. Большее окно не означает, что нужно вставлять всё подряд. Отправляйте только нужные файлы плюс ошибку.
• Доверие к сгенерированному коду безопасности. Проверяйте вручную всё, что касается аутентификации, криптографии или разбора входных данных.
• Слепое выполнение вывода. Сгенерированный код может удалять файлы или выполнять сетевые вызовы. Используйте песочницу.

Дополнительные руководства

• Сколько стоит LLM? Математика по токенам и примеры
• Чат с LLM без цензуры: Руководство по интеграции и варианты использования