ローカル LLM のハードウェアコスト:API の方が安くなる時
実用的なローカルモデルには、十分なメモリを持つGPU、適切なホストマシン、そして電力料金が必要です。3年間のコストを月割りすると、月あたりのコストは多くの人がトークンに費やす金額よりもはるかに高くなります。


主要ポイント
- 純粋な速度ではなく、GPU のメモリが実行できるモデルとコストを決定します。
- 以下の例のビルドでは、損益分岐点は月間約232Mトークン、または毎日18時間の生成に要する時間です。
- 低容量およびバースト性のある利用では API が勝ち、一定の大量利用、プライバシー要件、オフライン作業ではローカルが勝ちます。
- ここでのハードウェア価格はすべて仮の価格として扱い、現在の市場を確認してください。
価格を決定する要因
ローカル LLM のハードウェアコスト は主に 1 つの要素、つまりグラフィックスカード、具体的にはビデオメモリ(VRAM)の容量にかかっています。モデルの重みは VRAM に収まるか、VRAM とシステム RAM の遅い組み合わせに収まる必要があります。重みだけの概算ルールは、パラメータ数×重みあたりのビット数÷8 です。80 億パラメータ、4 ビット量子化のモデルには約 4 GB が必要です。700 億パラメータのモデルでは 4 ビットで約 35 GB が必要です。これに加えて、コンテキストの長さによって増大する KV キャッシュの領域と、いくつかのオーバーヘッドが必要です。
そのため、価格曲線は急峻になります。メモリが12 GBのカードは小規模モデルを実行します。24 GBのカードは中規模モデルを快適に実行できます。それより大きいものは2枚のカードまたはワークステーションハードウェアを意味します。速度よりも容量が重要です:モデルが収まる遅いカードは、収まらない速いカードよりも優れています。
低コスト、ミドル、大規模なビルド
以下の価格は参考値であり、見積もりではありません。中古・新品ともに価格は常に変動するため、実際に確認した価格に置き換えてください。重要なのは計算の構造です。
| 項目 | 小型構成 | 中規模構成 | 大型構成 |
|---|---|---|---|
| GPUメモリ | 12 GB | 24 GB | 2 x 24 GB |
| GPU(想定) | $350 | $800 | $1,600 |
| CPU、マザーボード、32〜64 GB RAM、SSD(想定) | $500 | $600 | $900 |
| 電源、ケース、冷却装置(想定) | $150 | $100 | $200 |
| 合計(想定) | $1,000 | $1,500 | $2,700 |
すでに適切なカードを搭載したゲーミングPCをお持ちの場合、増加分のハードウェアコストはゼロとなり、記事の残りの部分はローカル環境に大きく有利に動きます。新品を購入する場合は、その表がより現実的です。
購入費を月額コストに変換する
ビルドを現実的な期間に分散し、電力コストを加算します。$1,500の中規模ビルドを36ヶ月で割ると月$41.67になります。1日約4時間稼働するマシンの電力代を加算します:負荷時450 W、アイドル時60 W、1 kWhあたり$0.15とすると月$13.50です。合計:月$55.17。
| ビルド | ハードウェア月額(36ヶ月) | 電力月額(1日4時間) | 合計月額 |
|---|---|---|---|
| 小型 | $27.78 | $13.50 | $41.28 |
| ミドル | $41.67 | $13.50 | $55.17 |
| 大型 | $75.00 | $23.40 | $98.40 |
大規模ビルドの電力値は、負荷時800 W、アイドル時100 Wを想定しています:1日3.2 kWh+2.0 kWhで5.2 kWh、30倍で156 kWh、$0.15倍で$23.40です。
トークン単価との損益分岐点
次に、その月額をトークン数に変換します。出力トークン1つあたり入力トークン3つのチャットトラフィックを想定します。100万出力トークンと300万入力トークンのコストは、1 x $0.50 + 3 x $0.15 = $0.95で、400万トークン全体に対して、1Mあたり加重平均$0.2375です。中規模ビルドの場合:
- $55.17を1Mあたり$0.2375で割ると、損益分岐点は月約232Mトークンです。
- その4分の1が出力です:おおよそ58Mの出力トークン。
- 秒間30トークンの場合、1台のマシンが30日間フル稼働すると、2.592M秒×30で約77.8Mの出力トークンを生成します。
秒間30トークンで58Mの出力トークンを生成するには1.94M秒(約538時間)かかり、これは1日あたり17.9時間の生成に相当します。単一のユーザーがプロンプトを入力するだけではこれほどにはなりません。バッチパイプラインや多くのユーザーを持つサービスなら可能です。
ローカルがまだ意味をなす場所
損益分岐点は、APIが個人にとってローカルより安価であることを示しています。ローカルが無意味だと言っているわけではありません。それでもハードウェアを購入する理由:
- GPUカードはすでに所有しています。 すると電気代のみが問題になります。
- 常時負荷。 大量分類など1日中稼働するパイプラインは、GPUを十分に稼働させて損益分岐点に達させることができます。
- オフラインまたはエアギャップ環境での作業。 ネットワークなし、トークンごとの請求なし、データが施設外に出ない。
- 重みを使った実験。 量子化の変更、モデルのマージ、独自のファインチューニングの実行を行いたい場合、ファイルがディスク上にある必要があります。
LLM利用の一般的なコストについて詳しく知りたい場合は、LLMのコストはいくらのページをご覧ください。レンタルを選ぶ理由としては、バースト的な利用、異なるサイズの多数の実験、VRAMを追加で購入せずに長いコンテキストウィンドウが必要な場合、およびドライバーや推論サーバーの保守をしたくない場合などが挙げられます。ここで提供されているホスト版のサービスは100,000トークンのコンテキストウィンドウを提供しており、自宅の環境でKVキャッシュを処理するには大量のメモリが必要です。
3人のユーザー、3つの回答
数字は実際の状況と一致しているときに信頼しやすくなります。ここでは、3つのプロファイルを示します。入出力比が3対1の場合、1Mトークンあたり$0.15と$0.50で計算しています。
- ホビーユーザーは1日1〜2時間チャットし、月間合計で約10Mトークンを送信します。1Mトークンあたり$0.2375のブレンドレートでは、コストは$2.38です。これに対して、小規模な自作PCの場合でも月$41.28かかります。APIは約17倍安くなります。
- 開発者はエディターアシスタントやテストスクリプトを実行し、月間約60Mトークンを処理します。API利用料は$14.25です。ミドルクラスの自作PCは月$55.17かかります。カードをすでに所有している場合を除き、APIが圧倒的に優位です。
- バッチオペレーターは終日文書を分類し、月間400Mトークンを処理します。API利用料は$95.00です。実際にそのボリュームを処理できるのであれば、$55.17のミッドビルドの方が安くなりますが、出力が秒間30トークンの場合、月間77.8Mトークンが限界となり、同じ比率で合計約311Mトークンになります。したがって、オペレーターは2枚目のカードが必要か、それともボリュームを減らすかを選択し、ローカルコストが上昇します。
このパターンは一定しており、利用量が一定かつ大量になるまでAPIが優位であり、それ以降はローカルの容量がボトルネックとなります。同時実行数にも差があります。ここで提供されるAPIキーは8つの同時リクエストを許可しますが、単一のデスクトップGPUは通常、フルスピードで1つのリクエストのみを処理します。
支出を抑えること、および領収書に現れないコスト
ハードウェアへの支出を抑える方法
- 中古を購入する。 24 GBのメモリを搭載した前世代のカードは、ギガバイトあたりのコストパフォーマンスが最も良いことが多くあります。販売元を確認し、到着後に負荷をかけてカードをテストしてください。
- レイヤーをオフロードする。 llama.cppなどの推論エンジンは、モデルの一部をシステムRAMに保持できます。動作はしますが遅くなるため、速度が重要でない場合にのみ使用してください。
- 小さなモデルを選ぶ。 12 GBのカード上のチューニング済みの8Bモデルは、多くの日常的なタスクをカバーできます。タスクが必要とする場合にのみ、サイズ分のコストを支払ってください。
- GPUの使用時間を時間単位でレンタルする。 クラウドGPUのレンタルは購入コストを回避できますが、独自の時間単価があるため、現在の価格を確認し、トークン単位の課金と比較してください。
人々が忘れがちな隠れたコスト
- 減価償却。 GPUは新しいカードが登場するにつれて中古市場での価値が下落します。前述の36ヶ月の寿命は推測値です。
- 故障と交換。 電源ユニットやファンの故障は、予期せぬ追加費用となります。
- アップグレード。 新しいオープンウェイトモデルは大型化する傾向があります。今日の好きなモデルに適合するカードが、来年のモデルにも適合するとは限りません。
- 時間。 セットアップ、アップデート、デバッグには実際の時間がかかります。その時間を何らかの価値で評価する場合は、それらをコストに加算してください。
- ノイズと熱。 小さな部屋に450 Wのマシンを置くと、音が聞こえ、室温が上昇します。
これらはすべて領収書には現れないため、自作PCは実際よりも頭の中で安く感じられることが多いのです。
自身の損益分岐点を計算する
数値を入力して実行してください。これはあなたの月間のローカルコスト合計を取り、そのサービスの価格でそれと同等になる月間トークン量を出力します。
local_monthly = 55.17 # hardware per month + electricity
in_price, out_price = 0.15, 0.50 # dollars per 1M tokens
ratio = 3 # input tokens per output token
blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")実際のボリュームがそれより大幅に下回る場合は、APIを使用してください。ボリュームを測定するには、APIキーページで無料トライアルクレジットを取得し、モデルuncensoredでhttps://api.uncensoredlocalllm.com/v1に対して実際のプロンプトを実行し、各レスポンスのトークン使用量を確認してください。リクエスト形式はドキュメントを、チャージは価格ページをご覧ください。
その他のガイド
質問と回答
ローカルでLLMを実行できるPCはいくらするか?
希望するモデルのサイズによります。この記事のプレースホルダー価格では、小規模な自作PCは約$1,000、24 GBのカードを搭載したミドルクラスの自作PCは約$1,500です。計画を立てる前に現在の市場価格を確認してください。
ローカルLLMを実行するためにGPUは必要ですか?
いいえ、十分なRAMを搭載したCPUでも小規模モデルは動作しますが、生成速度は大幅に遅くなります。重みを保持するのに十分なメモリを搭載したGPUこそが、実用的な運用を可能にします。
ローカルLLMはいつAPIより安くなりますか?
機械が1日中多くの時間を稼働させる場合、ハードウェアを既に所有している場合、またはオフラインでの運用が必要な場合に適しています。この記事の価格では、1日18時間生成に使用すれば元が取れます。
ハードウェアを購入する前にAPIを試せますか?
はい。新規ユーザーはカードなしで$0.50のトライアルクレジットを取得でき、実際のプロンプトを実行して品質とコストを確認できます。