FR ▾
Obtenir une clé API

uncensoredlocalllm.comGuide

Coût matériel LLM local : quand l’API est moins chère

Un modèle local utilisable nécessite un GPU avec beaucoup de mémoire, une machine hôte décente et une facture d’électricité. Réparti sur trois ans, cela coûte bien plus par mois que ce que la plupart des gens dépensent en tokens.

Mis à jour le

Balance pesant le matériel PC contre un nuage de tokens, illustrant le coût matériel du LLM local par rapport à une API
Illustration isométrique d’un GPU local connecté à un cloud hébergé, représentant les modèles de codage local versus API

Points clés

  • La mémoire de la carte graphique, et non la vitesse brute, détermine ce que vous pouvez exécuter et ce que vous payez.
  • Avec la configuration illustrée ci-dessous, le point mort est d’environ 232 millions de tokens par mois, soit environ 18 heures de génération chaque jour.
  • L’API l’emporte à faible volume et avec des pics ; le local l’emporte pour un usage constant et intensif, les besoins de confidentialité et le travail hors ligne.
  • Considérez chaque prix de matériel ici comme une valeur indicative et vérifiez le marché actuel.

Ce qui fait le prix

Le coût du matériel LLM local est principalement composé d’un seul élément : la carte graphique, et plus précisément de sa quantité de mémoire vidéo. Les poids du modèle doivent tenir dans la VRAM, ou dans un mélange plus lent de VRAM et de RAM système. Une règle approximative pour les poids seuls est : paramètres fois bits par poids divisés par huit. Un modèle avec 8 milliards de paramètres en quantification 4 bits nécessite environ 4 Go. Un modèle de 70 milliards de paramètres en 4 bits nécessite environ 35 Go. À cela s’ajoute la place nécessaire pour le cache KV, qui augmente avec la longueur du contexte, ainsi qu’une certaine surcharge.

C’est pourquoi la courbe des prix est raide. Une carte avec 12 Go de mémoire fait tourner de petits modèles. Une carte de 24 Go fait tourner confortablement des modèles de taille moyenne. Tout ce qui est plus grand nécessite deux cartes ou du matériel de station de travail. La vitesse importe moins que la capacité : une carte plus lente qui fait tenir le modèle bat une carte plus rapide qui ne le fait pas.

Configuration entrée de gamme, milieu de gamme et grande configuration

Les prix ci-dessous sont des hypothèses illustratives, pas des devis. Les prix du neuf et de l’occasion évoluent en permanence, remplacez-les par ce que vous trouvez réellement. L’objectif est la forme du calcul.

ÉlémentPetite configurationConfiguration moyenneGrande configuration
Mémoire GPU12 Go24 Go2 x 24 Go
GPU (estimé)$350$800$1 600
CPU, carte mère, 32 à 64 Go de RAM, SSD (estimé)$500$600$900
Alimentation, boîtier, refroidissement (estimés)$150$100$200
Total (estimé)$1,000$1,500$2,700

Si vous possédez déjà un PC de jeu avec une carte adaptée, votre coût matériel marginal est nul et le reste de cet article penche fortement en faveur du local. Si vous achetez du neuf, le tableau est plus proche de la réalité.

Transformer l’achat en coût mensuel

Étalez la configuration sur une durée de vie réaliste, et ajoutez l’électricité. La configuration moyenne à 1 500 $ sur 36 mois représente 41,67 $ par mois. Ajoutez l’électricité pour une machine qui génère environ quatre heures par jour : en utilisant 450 W en charge, 60 W en veille et 0,15 $ par kWh, cela représente 13,50 $ par mois. Total : 55,17 $ par mois.

ConfigurationMatériel par mois (36 mois)Électricité par mois (4 h/jour)Total par mois
Petit$27,78$13,50$41,28
Moyen$41,67$13,50$55,17
Grande$75,00$23,40$98,40

La consommation électrique de la grande configuration suppose 800 W en charge et 100 W en veille : 3,2 kWh plus 2,0 kWh par jour font 5,2 kWh, multipliés par 30 font 156 kWh, multipliés par $0,15 font $23,40.

Le seuil de rentabilité par rapport à la tarification par token

Convertissons maintenant ce montant mensuel en tokens. Supposons un trafic de chat avec trois tokens d’entrée par token de sortie. Un million de tokens de sortie plus trois millions de tokens d’entrée coûtent 1 x $0,50 + 3 x $0,15 = $0,95 pour quatre millions de tokens, soit un coût moyen de $0,2375 par 1M. Pour la configuration moyenne :

  • 55,17 $ divisés par 0,2375 $ par 1M font environ 232M de tokens par mois au seuil de rentabilité.
  • Un quart de cela est de la sortie : environ 58M de tokens de sortie.
  • À 30 tokens par seconde, une machine produirait environ 77,8M de tokens de sortie si elle fonctionnait à plein régime pendant 30 jours (2,592M de secondes fois 30).

58M de tokens de sortie à 30 par seconde prennent 1,94M de secondes, soit environ 538 heures, ce qui représente 17,9 heures de génération chaque jour. Une seule personne tapant des prompts ne fait pas cela. Un pipeline par lots ou un service avec de nombreux utilisateurs, si.

Où le local a encore du sens

Le seuil de rentabilité indique que l’API est moins chère pour la plupart des particuliers. Il ne dit pas que le local est inutile. Raisons d’acheter du matériel quand même :

  • Vous possédez déjà la carte. Alors seule l’électricité compte.
  • Charge constante. Un pipeline qui tourne toute la journée, comme la classification par lots, peut occuper suffisamment un GPU pour dépasser le seuil de rentabilité.
  • Travail hors ligne ou en réseau isolé. Aucun réseau, aucune facture par token, aucune donnée qui quitte le bâtiment.
  • Expérimentations avec les poids. Si vous souhaitez modifier les quantifications, fusionner des modèles ou exécuter vos propres fine-tunes, vous avez besoin des fichiers sur votre disque.

Pour une vue plus large des coûts d'utilisation des LLM en général, consultez la page sur le coût d'un LLM. Raisons de louer plutôt que d'acheter : utilisation irrégulière, nombreuses expérimentations avec différentes tailles, besoin d'une longue fenêtre de contexte sans acheter plus de VRAM, et ne pas vouloir maintenir les pilotes et les serveurs d'inférence. L'option hébergée ici dispose d'une fenêtre de contexte de 100 000 tokens, ce qui nécessiterait beaucoup de mémoire pour le cache KV à domicile.

Trois personnes, trois réponses

Les chiffres sont plus faciles à croire quand ils correspondent à une situation réelle. Voici trois profils, tarifés à 0,15 $ et 0,50 $ par 1M de tokens avec un ratio d’entrée de trois pour un.

  • L’amateur discute une ou deux heures par jour et envoie environ 10M de tokens par mois au total. Au coût moyen de 0,2375 $ par 1M, cela représente 2,38 $. Comparez cela à 41,28 $ par mois pour même la petite configuration. L’API est environ dix-sept fois moins cher.
  • Le développeur exécute un assistant d'édition et des scripts de test, environ 60M de tokens par mois : $14,25 via l'API. La configuration moyenne coûte $55,17 par mois, donc l'API gagne encore largement à moins que la carte ait déjà été achetée.
  • L'opérateur de batch classe des documents 24h/24, 400M de tokens par mois : $95,00 via l'API. La configuration moyenne à $55,17 est moins chère si elle peut effectivement traiter ce volume, mais à 30 tokens par seconde de sortie, elle atteint un plafond d'environ 77,8M de tokens de sortie par mois, soit environ 311M de tokens au total avec le même ratio. L'opérateur a donc besoin d'une seconde carte ou doit accepter un volume inférieur, ce qui augmente le coût local.

Le schéma est cohérent : l’API l’emporte jusqu’à ce que l’utilisation soit constante et importante, et la capacité locale devient alors le goulot d’étranglement. La concurrence diffère également. Une clé complète ici permet 8 requêtes simultanées, tandis qu’une seule carte GPU de bureau sert généralement une requête à la fois à pleine vitesse.

Dépenser moins, et ce que la facture omet

Façons de dépenser moins sur le matériel

  • Acheter d'occasion. Les cartes de génération précédente avec 24 Go de mémoire sont souvent le meilleur rapport qualité/prix par gigaoctet. Vérifiez le vendeur et testez la carte sous charge à son arrivée.
  • Décharger les couches. Les moteurs d'inférence tels que llama.cpp peuvent garder une partie d'un modèle dans la RAM système. Cela fonctionne, mais plus lentement, donc utilisez cela uniquement lorsque la vitesse n'est pas importante.
  • Choisissez un modèle plus petit. Un modèle 8B bien ajusté sur une carte de 12 Go couvre de nombreuses tâches quotidiennes. Payez pour la taille uniquement lorsqu'une tâche en a besoin.
  • Louez du temps GPU à l'heure. Les locations de GPU cloud évitent l'achat mais ont leurs propres tarifs horaires, donc vérifiez leurs prix actuels et comparez-les avec la facturation par token.

Les coûts cachés que les gens oublient

  • Dépréciation. Les GPU perdent de leur valeur de revente à mesure que de nouvelles cartes arrivent. La durée de vie de 36 mois ci-dessus est une estimation.
  • Pannes et remplacement. Une alimentation ou un ventilateur mort est une facture surprise.
  • Mises à niveau. Les nouveaux modèles à poids ouverts ont tendance à être plus grands. Une carte qui convient aux favoris d'aujourd'hui peut ne pas convenir à ceux de l'année prochaine.
  • Temps. La configuration, les mises à jour et le débogage prennent de vraies heures. Si vous les valorisez à quelque chose, ajoutez-les.
  • Bruit et chaleur. Une machine de 450 W dans une petite pièce est audible et chaude.

Aucun de ceux-ci n'apparaît sur une facture, c'est pourquoi une configuration semble souvent moins chère dans la tête des gens qu'elle ne l'est.

Vérifiez votre propre seuil de rentabilité

Choisissez vos chiffres et lancez ce calcul. Il prend votre coût local mensuel global et affiche le volume mensuel de tokens où l’API l’égale, aux prix de ce service.

local_monthly = 55.17        # hardware per month + electricity
in_price, out_price = 0.15, 0.50   # dollars per 1M tokens
ratio = 3                    # input tokens per output token

blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")

Si votre volume réel est bien inférieur à cela, utilisez l’API. Pour mesurer votre volume, réclamez le crédit d'essai sur la page clé API, exécutez vos vrais prompts contre https://api.uncensoredlocalllm.com/v1 avec le modèle uncensored, et lisez l’utilisation de tokens dans chaque réponse. Consultez la documentation pour le format de requête et la page tarification pour les recharges.

Questions et réponses

Combien coûte un PC capable de faire tourner un LLM en local ?

Cela dépend de la taille du modèle que vous souhaitez. Avec les prix indicatifs dans cet article, une petite configuration coûte environ $1 000 et une configuration moyenne avec une carte de 24 Go environ $1 500. Vérifiez les prix actuels du marché avant de planifier.

Ai-je besoin d’un GPU pour faire tourner un LLM local ?

Non, les petits modèles fonctionnent sur un CPU avec suffisamment de RAM, mais la génération est beaucoup plus lente. Un GPU avec suffisamment de mémoire pour les poids est ce qui le rend pratique.

Quand un LLM local est-il moins cher qu’une API ?

Lorsque la machine est occupée plusieurs heures par jour, lorsque vous possédez déjà le matériel, ou lorsque vous avez besoin d'un fonctionnement hors ligne. Aux prix de cet article, la configuration moyenne atteint le seuil de rentabilité vers 18 heures de génération par jour.

Puis-je essayer une API avant d’acheter du matériel ?

Oui. Les nouveaux utilisateurs peuvent réclamer $0,50 de crédit d'essai sans carte et exécuter leurs vrais prompts pour voir la qualité et le coût.

uncensoredlocalllm.com

Votre clé n'est qu'à un formulaire d'ici

Créez un compte, copiez la clé, modifiez l'URL de base. C'est toute la configuration.