تكلفة عتاد الـ LLM المحلي: متى يكون الـ API أرخص
يحتاج النموذج المحلي القابل للاستخدام إلى GPU بذاكرة كبيرة، وآلة مضيف لائقة وفاتورة كهرباء. موزعة على ثلاث سنوات، فهذا أكثر بكثير شهرياً مما ينفقه معظم الناس على الرموز.


نقاط رئيسية
- الذاكرة على GPU، وليس السرعة الخام، تحدد ما يمكنك تشغيله وما تدفعه.
- مع التكوين التوضيحي أدناه، نقطة التعادل هي حوالي 232 مليون رمز شهرياً، أو حوالي 18 ساعة من التوليد كل يوم.
- يفوز الـ API عند الحجم المنخفض والمتقطع؛ ويفوز المحلي للاستخدام الثقيل المستمر، واحتياجات الخصوصية والعمل دون اتصال.
- عامل كل سعر عتاد هنا كقيمة توضيحية وتحقق من السوق الحالي.
ما يحدد السعر
تكلفة عتاد الـ llm المحلي يتكون بشكل أساسي من مكون واحد: بطاقة الرسوميات، وتحديداً مقدار ذاكرة الفيديو (VRAM) التي تمتلكها. يجب أن تتسع أوزان النموذج في ذاكرة VRAM، أو في مزيج أبطأ من VRAM وذاكرة النظام (RAM). قاعدة تقريبية لحساب الأوزان وحدها هي: عدد المعاملات مضروباً في عدد البتات لكل معامل مقسوماً على ثمانية. نموذج يحتوي على 8 مليارات معامل وبترميز 4-bit يحتاج حوالي 4 جيجابايت. نموذج بـ 70 مليار معامل وبترميز 4-bit يحتاج حوالي 35 جيجابايت. بالإضافة إلى ذلك، تحتاج إلى مساحة لـ KV cache، الذي يزداد مع طول السياق، وبعض الهوامش الإضافية.
ولهذا السبب يكون منحنى الأسعار حاداً. بطاقة بسعة 12 جيجابايت من الذاكرة تشغل النماذج الصغيرة. بطاقة بسعة 24 جيجابايت تشغل النماذج متوسطة الحجم بسهولة. أي شيء أكبر يعني الحاجة إلى بطاقتين أو عتاد محطات عمل. السرعة أقل أهمية من السعة: بطاقة أبطأ تتسع للنموذج أفضل من بطاقة أسرع لا تتسع له.
تكوين منخفض التكلفة، ومتوسط، وكبير
الأسعار أدناه هي افتراضات توضيحية وليست عروض أسعار. تتغير أسعار المستعمل والجديد باستمرار، لذا استبدلها بما تجده فعلياً. النقطة الأساسية هي شكل الحساب.
| العنصر | تكوين صغير | تكوين متوسط | تكوين كبير |
|---|---|---|---|
| ذاكرة GPU | 12 جيجابايت | 24 جيجابايت | 2 × 24 جيجابايت |
| بطاقة رسوميات (مفترضة) | $350 | $800 | $1,600 |
| معالج، لوحة أم، ذاكرة عشوائية من 32 إلى 64 جيجابايت، قرص SSD (مفترضة) | $500 | $600 | $900 |
| مزود طاقة، هيكل، تبريد (مفترضة) | $150 | $100 | $200 |
| المجموع (مفترض) | $1,000 | $1,500 | $2,700 |
إذا كنت تمتلك بالفعل جهاز ألعاب يحتوي على بطاقة مناسبة، فإن تكلفة العتاد الحدية لديك هي صفر، ويتحول باقي هذا المقال بشكل كبير لصالح الحل المحلي. إذا كنت تشتري جهازاً جديداً، فإن الجدول يكون أقرب إلى الحقيقة.
حوّل الشراء إلى تكلفة شهرية
وزّع التكلفة على فترة زمنية واقعية وأضف الكهرباء. تكلفة التكوين المتوسط ($1,500 على 36 شهرًا) هي $41.67 شهريًا. أضف الكهرباء لجهاز يعمل حوالي 4 ساعات يوميًا: باستخدام 450 واط تحت الحمل، و60 واط في حالة الخمول، وسعر $0.15 لكل كيلوواط ساعة، يصبح التكلفة $13.50 شهريًا. المجموع: $55.17 شهريًا.
| تكوين | تكاليف الأجهزة شهريًا (36 شهرًا) | تكاليف الكهرباء شهريًا (4 ساعات/يوم) | المجموع الشهري |
|---|---|---|---|
| صغير | $27.78 | $13.50 | $41.28 |
| متوسط | $41.67 | $13.50 | $55.17 |
| كبير | $75.00 | $23.40 | $98.40 |
تفترض قيمة استهلاك الطاقة للتكوين الكبير استهلاك 800 واط تحت الحمل و100 واط في الخمول: 3.2 كيلوواط ساعة زائد 2.0 كيلوواط ساعة يوميًا تساوي 5.2 كيلوواط ساعة، مضروبة في 30 تساوي 156 كيلوواط ساعة، مضروبة في $0.15 تساوي $23.40.
نقطة التعادل مقابل التسعير للرمز
الآن حوّل هذا الرقم الشهري إلى رموز. افترض حركة محادثة مع ثلاثة رموز مدخل لكل رمز مخرج. مليون رمز مخرج زائد ثلاثة ملايين رمز مدخل تكلف 1 x $0.50 + 3 x $0.15 = $0.95 لأربعة ملايين رمز، أي $0.2375 لكل مليون. للتكوين المتوسط:
- $55.17 مقسومة على $0.2375 لكل مليون تساوي حوالي 232 مليون رمز شهريًا عند نقطة التعادل.
- ربع هذا الرقم هو المخرجات: حوالي 58 مليون رمز مخرج.
- بمعدل 30 رمزًا في الثانية، ستنتج آلة واحدة حوالي 77.8 مليون رمز مخرج إذا عملت بأقصى طاقتها لمدة 30 يومًا (2.592M ثانية مضروبة في 30).
58 مليون رمز مخرج بمعدل 30 في الثانية يستغرق 1.94 مليون ثانية، أي حوالي 538 ساعة، وهو 17.9 ساعة من التوليد يوميًا. شخص واحد يكتب الموجّهات لا يفعل ذلك. قد تفعل ذلك خط أنابيب دفعي أو خدمة بعدة مستخدمين.
حيث لا يزال التشغيل المحلي منطقيًا
نقطة التعادل تقول إن الـ API أرخص لمعظم الأفراد. لا تقول إن التشغيل المحلي عديم الفائدة. أسباب لشراء الأجهزة على أي حال:
- أنت تملك البطاقة بالفعل. ثم لا تحسب سوى الكهرباء.
- الحمل المستمر. خط أنابيب يعمل طوال اليوم، مثل التصنيف الضخم، يمكن أن يشغل بطاقة الرسوميات بما يكفي لتجاوز نقطة التعادل.
- العمل دون اتصال أو في بيئة معزولة. لا شبكة، لا فاتورة لكل رمز، لا بيانات تغادر المبنى.
- التجارب مع الأوزان. إذا كنت تريد تغيير الكميات، أو دمج النماذج، أو تشغيل ضبط دقيق خاص بك، فأنت بحاجة إلى الملفات على قرصك.
لمنظور أوسع حول تكلفة استخدام LLM بشكل عام، انظر إلى صفحة كم يكلف LLM. أسباب للإيجار بدلاً من الشراء: الاستخدام المتقطع، العديد من التجارب بأحجام مختلفة، الحاجة إلى نافذة سياق طويلة دون شراء ذاكرة VRAM إضافية، وعدم الرغبة في الحفاظ على برامج التشغيل وخوادم الاستنتاج. خيار الاستضافة هنا يحتوي على نافذة سياق بحجم 100,000 رمز، وهو ما يحتاج إلى الكثير من الذاكرة لخازن KV في المنزل.
ثلاثة أشخاص، ثلاثة إجابات
الأرقام أسهل في الوثوق بها عندما تتطابق مع وضع حقيقي. إليك ثلاثة ملفات تعريف، مسعّرة عند $0.15 و$0.50 لكل مليون رمز مع نسبة المدخلات 3 إلى 1.
- يستخدم الهواة الدردشة لمدة ساعة أو ساعتين يومياً، ويرسلون ما مجموعه حوالي 10 ملايين رمز في الشهر. عند السعر المدمج البالغ $0.2375 لكل مليون رمز، يكون التكلفة $2.38. قارن ذلك بـ $41.28 شهرياً حتى للبناء الصغير. الـ API أرخص بحوالي سبع عشرة مرة.
- المطوّر يشغّل مساعد محرر ونصوص اختبار، بحوالي 60 مليون رمز شهرياً: $14.25 عبر الـ API. تكاليف البناء المتوسطة $55.17 شهرياً، لذا لا يزال الـ API هو الأفضل بفارق كبير ما لم تكن البطاقة مملوكة بالفعل.
- مشغّل الدفعات يصنّف المستندات على مدار الساعة، 400 مليون رمز شهرياً: $95.00 عبر الـ API. البناء المتوسط بتكلفة $55.17 أرخص إذا كان قادراً فعلياً على معالجة هذا الحجم، لكن عند 30 رمزاً في الثانية من المخرجات، يصل الحد الأقصى إلى حوالي 77.8 مليون رمز مخرجات شهرياً، أي حوالي 311 مليون رمز إجمالاً بنفس النسبة. لذا يحتاج المشغّل إلى بطاقة ثانية أو يجب أن يقبل بحجم أقل، مما يرفع التكلفة المحلية.
النمط ثابت: الـ API هو الفائز حتى يكون الاستخدام ثابتاً وكبيراً، وعندها يصبح السعة المحلية عنق الزجاجة. تختلف أيضاً قدرة الطلبات المتزامنة. مفتاح كامل هنا يسمح بـ 8 طلبات متزامنة، بينما تخدم بطاقة GPU واحدة على سطح المكتب عادةً طلباً واحداً في كل مرة بأقصى سرعة.
إنفاق أقل، وما يغفله الإيصال
طرق لتقليل تكاليف الأجهزة
- اشترِ مستعملة. بطاقات الجيل السابق ذات ذاكرة 24 جيجابايت غالباً ما تكون الأفضل من حيث القيمة لكل جيجابايت. تحقق من البائع، واختبر البطاقة تحت الحمل عند الوصول.
- أخرج الطبقات. محركات الاستدلال مثل llama.cpp يمكنها الاحتفاظ بجزء من النموذج في ذاكرة النظام العشوائية (RAM). سيعمل، لكن ببطء، لذا استخدم هذا فقط عندما لا تكون السرعة مهمة.
- اختر نموذجًا أصغر. نموذج مُضبط جيدًا بحجم 8 مليارات معلمة على بطاقة ذاكرة بسعة 12 جيجابايت يغطي العديد من المهام اليومية. ادفع مقابل الحجم فقط عندما تتطلب المهمة ذلك.
- استأجر وقت وحدة معالجة الرسومات بالساعة. استئجار وحدات معالجة الرسومات السحابية يتجنب الشراء ولكن لديه أسعاره الخاصة بالساعة، لذا تحقق من أسعارها الحالية وقارنها مع الفوترة لكل رمز.
التكاليف الخفية التي ينساها الناس
- الاستهلاك. تفقد وحدات معالجة الرسومات قيمتها عند إعادة البيع مع وصول بطاقات أحدث. عمر الـ 36 شهراً المذكور أعلاه هو تخمين.
- الفشل والاستبدال. مصدر طاقة أو مروحة تالفة هو فاتورة مفاجئة.
- الترقيات. تميل النماذج مفتوحة الأوزان الجديدة إلى أن تكون أكبر حجماً. البطاقة التي تناسب المفضلة اليوم قد لا تناسب العام القادم.
- الوقت. الإعداد والتحديثات وتصحيح الأخطاء هي ساعات حقيقية. إذا كنت تقدرها بأي شيء، أضفها.
- الضوضاء والحرارة. جهاز بقوة 450 واط في غرفة صغيرة يكون مسموعاً ودافئاً.
لا تظهر أي من هذه البنود في الإيصال، ولهذا السبب يبدو الجهاز أرخص في أذهان الناس مما هو عليه.
تحقق من نقطة التعادل الخاصة بك
أدخل أرقامك وشغّل هذا. يحسب التكلفة المحلية الشهرية الشاملة لك، ويظهر حجم الرموز الشهري الذي تتساوى فيه تكلفة الـ API مع تكلفتك، بأسعار هذه الخدمة.
local_monthly = 55.17 # hardware per month + electricity
in_price, out_price = 0.15, 0.50 # dollars per 1M tokens
ratio = 3 # input tokens per output token
blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")إذا كان حجمك الفعلي أقل بكثير من ذلك، استخدم الواجهة البرمجية. لقياس حجمك، احصل على رصيد التجربة في صفحة مفتاح الواجهة البرمجية، شغّل موجّهاتك الحقيقية على https://api.uncensoredlocalllm.com/v1 مع النموذج uncensored، واقرأ استخدام الرموز في كل استجابة. انظر إلى الوثائق لتنسيق الطلب وصفحة التسعير لشحن الرصيد.
المزيد من الأدلة
أسئلة وأجوبة
كم يكلف جهاز كمبيوتر شخصي يمكنه تشغيل LLM محلياً؟
يعتمد ذلك على حجم النموذج الذي تريده. مع أسعار الأمثلة في هذا المقال، يكلف التكوين الصغير حوالي $1,000 والتكوين المتوسط ببطاقة سعة 24 جيجابايت حوالي $1,500. تحقق من أسعار السوق الحالية قبل التخطيط.
هل أحتاج إلى GPU لتشغيل LLM محلياً؟
لا، النماذج الصغيرة تعمل على وحدة المعالجة المركزية (CPU) بذاكرة عشوائية كافية، لكن التوليد أبطأ بكثير. GPU بذاكرة كافية للأوزان هو ما يجعل الأمر عملياً.
متى يكون LLM المحلي أرخص من الـ API؟
عندما تكون الآلة مشغلة لساعات عديدة يومياً، عندما تمتلك الأجهزة بالفعل، أو عندما تحتاج إلى تشغيل دون اتصال. عند أسعار هذا المقال، يتعادل البناء المتوسط عند حوالي 18 ساعة توليد يومياً.
هل يمكنني تجربة API قبل شراء الأجهزة؟
نعم. يمكن للمستخدمين الجدد الحصول على رصيد تجريبي بقيمة $0.50 دون الحاجة إلى بطاقة، وتشغيل الموجّهات الفعلية لرؤية الجودة والتكلفة.
uncensoredlocalllm.com
مفتاحك على بُعد استمارة واحدة
أنشئ حساباً، وانسخ المفتاح، ثم غيّر URL الأساسي. هذه هي الإعدادات الكاملة.