FR ▾
Obtenir une clé API

uncensoredlocalllm.comGuide

Coût électricité LLM local vs paiement au token

Faire tourner un modèle sur votre propre GPU n'est pas gratuit : la carte consomme réellement de l'énergie en génération et le PC continue d'en consommer en veille. Voici comment l'estimer et quand une API au token coûte moins cher.

Mis à jour le

GPU isométrique connecté à un compteur d'énergie et des pièces, illustrant le coût électricité des LLM locaux
Illustration isométrique d'un GPU local connecté à un cloud hébergé, représentant les modèles de codage locaux par rapport aux modèles de codage via API

Points clés

  • Une configuration à un utilisateur à environ 30 tokens par seconde dépense environ 0,63 $ d'électricité par 1M de tokens de sortie, hors matériel.
  • En usage léger, l'API est moins chère. En usage quotidien intensif, un poste local peut la battre sur l'électricité seule.
  • La consommation en veille a plus d'impact que prévu quand le PC reste allumé toute la journée.
  • L'achat du matériel, et non l'électricité, décide généralement du seuil de rentabilité réel.

La réponse courte

Le coût en électricité du LLM local dépend de trois nombres : combien de watts votre machine tire en génération, combien d'heures par jour elle génère, et ce que votre fournisseur facture par kilowattheure. Pour un PC de bureau typique à GPU unique, le montant mensuel se situe entre quelques dollars et quelques dizaines de dollars. C'est peu face au prix du matériel, mais ce n'est pas zéro, et c'est assez élevé pour compter quand on compare avec le paiement au token.

Le calcul ci-dessous utilise des hypothèses que vous pouvez remplacer par les vôtres. L'API utilise les prix réels de ce service : $0,15 par 1M de tokens d'entrée et $0,50 par 1M de tokens de sortie.

La formule

L'électricité est l'énergie multipliée par le prix. L'énergie en kilowattheures est la puissance en kilowatts multipliée par les heures.

monthly_kwh  = (load_kw * load_hours_per_day + idle_kw * idle_hours_per_day) * 30
monthly_cost = monthly_kwh * price_per_kwh

Utilisez un compteur d'alimentation enfichable si vous en avez un. Il mesure toute la machine au mur, ce que vous payez. Lire la puissance de carte spécifiée du GPU ne donne qu'une partie du tableau, car le CPU, la mémoire, les disques, les ventilateurs et les pertes de l'alimentation s'ajoutent.

Pour les exemples, je suppose :

  • 450 W au mur quand le modèle génère (une carte de 350 W environ plus le reste du système).
  • 60 W au mur quand le PC est allumé mais inactif.
  • $0,15 par kWh. C'est une hypothèse. Les tarifs varient beaucoup selon le pays et l'heure, donc remplacez-le par le chiffre sur votre facture.
  • 30 tokens par seconde de génération pour un utilisateur unique. Votre vitesse dépend du modèle, de sa quantification et de la carte.

Trois niveaux d'utilisation, calculés

Prenons un utilisateur léger, modéré et intensif. La machine reste allumée toute la journée dans chaque cas, donc les heures de veille sont comptées.

UtilisationGénération par jourÉnergie par moisÉlectricité par moisTokens de sortie par mois
Léger1 heure54,9 kWh$8,243,24M
Modéré4 heures90,0 kWh$13,5012,96M
Intensif12 heures183,6 kWh$27,5438,88M

Voici la ligne modérée étape par étape. Génération : 4 heures fois 0,45 kW font 1,8 kWh par jour. Veille : 20 heures fois 0,06 kW font 1,2 kWh par jour. Total 3,0 kWh par jour, soit 90 kWh sur 30 jours, ce qui à $0,15 fait $13,50. Tokens : 4 heures font 14 400 secondes, fois 30 tokens par seconde font 432 000 tokens par jour, ou 12,96M par mois.

Notez comment l'utilisateur léger paie $8,24 pour seulement 3,24M de tokens. La puissance de veille constitue la majeure partie de cette facture : 23 heures de veille à 60 W font 1,38 kWh par jour, plus du double des 0,45 kWh passés à générer.

Ce que coûtent les mêmes tokens via une API

L'utilisation chat envoie plus de tokens qu'elle ne reçoit, car chaque requête porte le prompt système et la conversation jusqu'alors. Supposez trois tokens d'entrée pour chaque token de sortie, ce qui est un ratio plausible pour le chat avec historique. Alors la facture mensuelle à $0,15 et $0,50 par 1M est :

UtilisationCoût de sortieCoût entrée (3x tokens sortie)Total APIÉlectricité locale
Léger3,24M x $0,50 = $1,629,72M x $0,15 = $1,46$3,08$8,24
Modéré12,96 M x 0,50 $ = 6,48 $38,88 M x 0,15 $ = 5,83 $$12,31$13,50
Intensif38,88 M x 0,50 $ = 19,44 $116,64 M x 0,15 $ = 17,50 $$36,94$27,54

Deux choses ressortent. Premièrement, en dessous d'environ quatre heures de génération par jour, l'API est moins chère que l'électricité seule. Deuxièmement, à douze heures par jour, le poste local gagne sur l'énergie, car la part de veille diminue et vous utilisez le silicium que vous avez déjà payé. Le chiffre API inclut aussi le traitement des entrées, que votre GPU fait gratuitement en argent mais qui consomme quand même de l'énergie. Le prétraitement est rapide, donc je l'ai exclu du côté local ; cela favorise légèrement le local.

Électricité par million de tokens

Une méthode utile pour comparer est le coût énergétique par million de tokens de sortie générés uniquement. À 450 W et 30 tokens par seconde, un million de tokens prennent environ 33 333 secondes, soit 9,26 heures. Cela représente 4,17 kWh, et à 0,15 $ par kWh, cela coûte environ 0,63 $. L'API facture 0,50 $ par million de tokens de sortie, les tokens d'entrée étant facturés séparément à 0,15 $.

Même sans compter le GPU, un utilisateur générant à 30 tokens par seconde dépense plus en énergie par token produit que le prix de l'API. L'écart se réduit uniquement si votre matériel est plus rapide ou si votre électricité est moins chère. À 60 tokens par seconde, le même calcul donne environ 0,31 $. À 0,08 $ par kWh et 30 tokens par seconde, cela donne environ 0,33 $. Changer l'une ou l'autre variable modifie le résultat, alors faites vos propres calculs.

Le batching est l'exception. Un serveur qui gère plusieurs requêtes simultanées consomme beaucoup moins d'énergie par token, ce qui explique pourquoi les fournisseurs hébergés peuvent proposer des prix bas. Un ordinateur de bureau utilisé par une seule personne en bénéficie rarement.

Ce que la formule omet

  • Le matériel. Un GPU capable d'exécuter un modèle utile coûte bien plus cher qu'une année de l'électricité indiquée ci-dessus. Réparti sur sa durée de vie, il domine généralement le coût total. La page sur le coût d'un LLM détaille la partie achat.
  • Refroidissement et bruit. Dans un climat chaud, la chaleur de 450 W sollicite également votre climatisation. En hiver, elle constitue en partie un chauffage utile.
  • Modèles plus grands. Un modèle nécessitant deux cartes double approximativement la charge indiquée.
  • Votre temps. Mettre à jour les pilotes, choisir les quantifications et corriger les erreurs de mémoire est un travail que l'API supprime.

D'un autre côté, un modèle local ne coûte rien par requête supplémentaire et fonctionne hors ligne. Si vous l'utilisez plusieurs heures par jour, cela compte.

Moyens de réduire la facture locale

Si vous restez en local, quelques habitudes réduisent le coût sans toucher au modèle.

  • Mettre la machine en veille. Passer de 60 W en veille toute la journée à la veille pendant 16 des 20 heures d'inactivité économise environ 29 kWh par mois dans le cas modéré, soit environ 4,32 $ à 0,15 $.
  • Plafonner la limite de puissance du GPU. De nombreuses cartes perdent peu en vitesse de génération lorsque la limite de puissance est abaissée de 20 à 30 pour cent. Testez votre propre carte, car les résultats varient selon le modèle et le pilote.
  • Utiliser une quantification ou un modèle plus petit pour les tâches courantes. Moins d'octets par poids signifie moins de trafic mémoire et souvent une génération plus rapide, ce qui réduit les heures où la carte est occupée.
  • Utiliser un tarif à utilisation variable. Si votre fournisseur d'électricité facture moins la nuit, planifiez les tâches par lots pour ces heures.

Vérifiez l'économie en veille : 16 heures fois 0,06 kW font 0,96 kWh par jour, fois 30 font 28,8 kWh, fois 0,15 $ font 4,32 $. Rien de tout cela ne change l'ordre de grandeur. L'électricité reste une petite partie du total par rapport au matériel lui-même.

Essayer le côté API avec des chiffres réels

Vous pouvez vérifier l'estimation de l'API par rapport à votre propre charge de travail à moindre coût. Les nouveaux utilisateurs peuvent obtenir 0,50 $ de crédit d'essai gratuit en un clic sur la page clé API après la connexion, sans carte nécessaire, valable 7 jours. Envoyez quelques requêtes réalistes, puis lisez l'en-tête de réponse X-Balance-USD pour voir ce qu'elles coûtent.

curl -i https://api.uncensoredlocalllm.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the pros and cons of running an LLM at home."}]}'

Comparez le solde avant et après, mettez à l'échelle selon votre nombre de requêtes prévu, et opposez-le à votre estimation d'électricité. Les tarifs actuels et les bonus de rechargement sont listés sur la page des tarifs, et les détails des requêtes se trouvent dans la documentation.

Questions et réponses

Combien d'électricité consomme un LLM local ?

Un bureau à GPU unique consomme généralement quelques centaines de watts lors de la génération et bien moins de 100 W au repos. Mesurez à la prise avec un compteur à enficher, puis multipliez par les heures et votre prix par kWh.

Le modèle reste-t-il inactif la plupart du temps ?

Pour la plupart des configurations personnelles, oui. La consommation en veille peut être supérieure à l'énergie de génération, donc mettre le PC en veille entre les sessions réduit la facture.

Un LLM local est-il moins cher qu'une API ?

En cas d'utilisation légère ou modérée, généralement pas une fois la consommation électrique incluse dans le calcul, et pas du tout une fois le matériel inclus. Avec de nombreuses heures de génération quotidienne, cela peut être avantageux uniquement sur l'électricité.

Puis-je tester le coût de l'API sans payer ?

Oui. Le crédit d'essai en un clic de 0,50 $ ne nécessite pas de carte, et l'en-tête du solde indique ce que chaque requête a coûté.

uncensoredlocalllm.com

Votre clé est à un formulaire d'ici

Créez un compte, copiez la clé, modifiez l'URL de base. C'est toute la configuration.