JA ▾
API キーを取得

uncensoredlocalllm.comガイド

ローカル LLM のハードウェアコスト:API の方が安くなる時

実用的なローカルモデルには、十分なメモリを持つGPU、適切なホストマシン、そして電力料金が必要です。3年間のコストを月割りすると、月あたりのコストは多くの人がトークンに費やす金額よりもはるかに高くなります。

更新日:

トークンのクラウドに対してPCハードウェアを秤にかけるイメージ。ローカルLLMのハードウェアコスト対APIを示す
ローカルGPUがホストクラウドに接続する等角イラスト。ローカルとAPIのコーディングモデルを表す

主要ポイント

  • 純粋な速度ではなく、GPU のメモリが実行できるモデルとコストを決定します。
  • 以下の例のビルドでは、損益分岐点は月間約232Mトークン、または毎日18時間の生成に要する時間です。
  • 低容量およびバースト性のある利用では API が勝ち、一定の大量利用、プライバシー要件、オフライン作業ではローカルが勝ちます。
  • ここでのハードウェア価格はすべて仮の価格として扱い、現在の市場を確認してください。

価格を決定する要因

ローカル LLM のハードウェアコスト は主に 1 つの要素、つまりグラフィックスカード、具体的にはビデオメモリ(VRAM)の容量にかかっています。モデルの重みは VRAM に収まるか、VRAM とシステム RAM の遅い組み合わせに収まる必要があります。重みだけの概算ルールは、パラメータ数×重みあたりのビット数÷8 です。80 億パラメータ、4 ビット量子化のモデルには約 4 GB が必要です。700 億パラメータのモデルでは 4 ビットで約 35 GB が必要です。これに加えて、コンテキストの長さによって増大する KV キャッシュの領域と、いくつかのオーバーヘッドが必要です。

そのため、価格曲線は急峻になります。メモリが12 GBのカードは小規模モデルを実行します。24 GBのカードは中規模モデルを快適に実行できます。それより大きいものは2枚のカードまたはワークステーションハードウェアを意味します。速度よりも容量が重要です:モデルが収まる遅いカードは、収まらない速いカードよりも優れています。

低コスト、ミドル、大規模なビルド

以下の価格は参考値であり、見積もりではありません。中古・新品ともに価格は常に変動するため、実際に確認した価格に置き換えてください。重要なのは計算の構造です。

項目小型構成中規模構成大型構成
GPUメモリ12 GB24 GB2 x 24 GB
GPU(想定)$350$800$1,600
CPU、マザーボード、32〜64 GB RAM、SSD(想定)$500$600$900
電源、ケース、冷却装置(想定)$150$100$200
合計(想定)$1,000$1,500$2,700

すでに適切なカードを搭載したゲーミングPCをお持ちの場合、増加分のハードウェアコストはゼロとなり、記事の残りの部分はローカル環境に大きく有利に動きます。新品を購入する場合は、その表がより現実的です。

購入費を月額コストに変換する

ビルドを現実的な期間に分散し、電力コストを加算します。$1,500の中規模ビルドを36ヶ月で割ると月$41.67になります。1日約4時間稼働するマシンの電力代を加算します:負荷時450 W、アイドル時60 W、1 kWhあたり$0.15とすると月$13.50です。合計:月$55.17。

ビルドハードウェア月額(36ヶ月)電力月額(1日4時間)合計月額
小型$27.78$13.50$41.28
ミドル$41.67$13.50$55.17
大型$75.00$23.40$98.40

大規模ビルドの電力値は、負荷時800 W、アイドル時100 Wを想定しています:1日3.2 kWh+2.0 kWhで5.2 kWh、30倍で156 kWh、$0.15倍で$23.40です。

トークン単価との損益分岐点

次に、その月額をトークン数に変換します。出力トークン1つあたり入力トークン3つのチャットトラフィックを想定します。100万出力トークンと300万入力トークンのコストは、1 x $0.50 + 3 x $0.15 = $0.95で、400万トークン全体に対して、1Mあたり加重平均$0.2375です。中規模ビルドの場合:

  • $55.17を1Mあたり$0.2375で割ると、損益分岐点は月約232Mトークンです。
  • その4分の1が出力です:おおよそ58Mの出力トークン。
  • 秒間30トークンの場合、1台のマシンが30日間フル稼働すると、2.592M秒×30で約77.8Mの出力トークンを生成します。

秒間30トークンで58Mの出力トークンを生成するには1.94M秒(約538時間)かかり、これは1日あたり17.9時間の生成に相当します。単一のユーザーがプロンプトを入力するだけではこれほどにはなりません。バッチパイプラインや多くのユーザーを持つサービスなら可能です。

ローカルがまだ意味をなす場所

損益分岐点は、APIが個人にとってローカルより安価であることを示しています。ローカルが無意味だと言っているわけではありません。それでもハードウェアを購入する理由:

  • GPUカードはすでに所有しています。 すると電気代のみが問題になります。
  • 常時負荷。 大量分類など1日中稼働するパイプラインは、GPUを十分に稼働させて損益分岐点に達させることができます。
  • オフラインまたはエアギャップ環境での作業。 ネットワークなし、トークンごとの請求なし、データが施設外に出ない。
  • 重みを使った実験。 量子化の変更、モデルのマージ、独自のファインチューニングの実行を行いたい場合、ファイルがディスク上にある必要があります。

LLM利用の一般的なコストについて詳しく知りたい場合は、LLMのコストはいくらのページをご覧ください。レンタルを選ぶ理由としては、バースト的な利用、異なるサイズの多数の実験、VRAMを追加で購入せずに長いコンテキストウィンドウが必要な場合、およびドライバーや推論サーバーの保守をしたくない場合などが挙げられます。ここで提供されているホスト版のサービスは100,000トークンのコンテキストウィンドウを提供しており、自宅の環境でKVキャッシュを処理するには大量のメモリが必要です。

3人のユーザー、3つの回答

数字は実際の状況と一致しているときに信頼しやすくなります。ここでは、3つのプロファイルを示します。入出力比が3対1の場合、1Mトークンあたり$0.15と$0.50で計算しています。

  • ホビーユーザーは1日1〜2時間チャットし、月間合計で約10Mトークンを送信します。1Mトークンあたり$0.2375のブレンドレートでは、コストは$2.38です。これに対して、小規模な自作PCの場合でも月$41.28かかります。APIは約17倍安くなります。
  • 開発者はエディターアシスタントやテストスクリプトを実行し、月間約60Mトークンを処理します。API利用料は$14.25です。ミドルクラスの自作PCは月$55.17かかります。カードをすでに所有している場合を除き、APIが圧倒的に優位です。
  • バッチオペレーターは終日文書を分類し、月間400Mトークンを処理します。API利用料は$95.00です。実際にそのボリュームを処理できるのであれば、$55.17のミッドビルドの方が安くなりますが、出力が秒間30トークンの場合、月間77.8Mトークンが限界となり、同じ比率で合計約311Mトークンになります。したがって、オペレーターは2枚目のカードが必要か、それともボリュームを減らすかを選択し、ローカルコストが上昇します。

このパターンは一定しており、利用量が一定かつ大量になるまでAPIが優位であり、それ以降はローカルの容量がボトルネックとなります。同時実行数にも差があります。ここで提供されるAPIキーは8つの同時リクエストを許可しますが、単一のデスクトップGPUは通常、フルスピードで1つのリクエストのみを処理します。

支出を抑えること、および領収書に現れないコスト

ハードウェアへの支出を抑える方法

  • 中古を購入する。 24 GBのメモリを搭載した前世代のカードは、ギガバイトあたりのコストパフォーマンスが最も良いことが多くあります。販売元を確認し、到着後に負荷をかけてカードをテストしてください。
  • レイヤーをオフロードする。 llama.cppなどの推論エンジンは、モデルの一部をシステムRAMに保持できます。動作はしますが遅くなるため、速度が重要でない場合にのみ使用してください。
  • 小さなモデルを選ぶ。 12 GBのカード上のチューニング済みの8Bモデルは、多くの日常的なタスクをカバーできます。タスクが必要とする場合にのみ、サイズ分のコストを支払ってください。
  • GPUの使用時間を時間単位でレンタルする。 クラウドGPUのレンタルは購入コストを回避できますが、独自の時間単価があるため、現在の価格を確認し、トークン単位の課金と比較してください。

人々が忘れがちな隠れたコスト

  • 減価償却。 GPUは新しいカードが登場するにつれて中古市場での価値が下落します。前述の36ヶ月の寿命は推測値です。
  • 故障と交換。 電源ユニットやファンの故障は、予期せぬ追加費用となります。
  • アップグレード。 新しいオープンウェイトモデルは大型化する傾向があります。今日の好きなモデルに適合するカードが、来年のモデルにも適合するとは限りません。
  • 時間。 セットアップ、アップデート、デバッグには実際の時間がかかります。その時間を何らかの価値で評価する場合は、それらをコストに加算してください。
  • ノイズと熱。 小さな部屋に450 Wのマシンを置くと、音が聞こえ、室温が上昇します。

これらはすべて領収書には現れないため、自作PCは実際よりも頭の中で安く感じられることが多いのです。

自身の損益分岐点を計算する

数値を入力して実行してください。これはあなたの月間のローカルコスト合計を取り、そのサービスの価格でそれと同等になる月間トークン量を出力します。

local_monthly = 55.17        # hardware per month + electricity
in_price, out_price = 0.15, 0.50   # dollars per 1M tokens
ratio = 3                    # input tokens per output token

blended = (ratio * in_price + out_price) / (ratio + 1)
total_m = local_monthly / blended
print(f"Break-even: {total_m:.0f}M tokens a month ({total_m/(ratio+1):.0f}M output)")

実際のボリュームがそれより大幅に下回る場合は、APIを使用してください。ボリュームを測定するには、APIキーページで無料トライアルクレジットを取得し、モデルuncensoredでhttps://api.uncensoredlocalllm.com/v1に対して実際のプロンプトを実行し、各レスポンスのトークン使用量を確認してください。リクエスト形式はドキュメントを、チャージは価格ページをご覧ください。

質問と回答

ローカルでLLMを実行できるPCはいくらするか?

希望するモデルのサイズによります。この記事のプレースホルダー価格では、小規模な自作PCは約$1,000、24 GBのカードを搭載したミドルクラスの自作PCは約$1,500です。計画を立てる前に現在の市場価格を確認してください。

ローカルLLMを実行するためにGPUは必要ですか?

いいえ、十分なRAMを搭載したCPUでも小規模モデルは動作しますが、生成速度は大幅に遅くなります。重みを保持するのに十分なメモリを搭載したGPUこそが、実用的な運用を可能にします。

ローカルLLMはいつAPIより安くなりますか?

機械が1日中多くの時間を稼働させる場合、ハードウェアを既に所有している場合、またはオフラインでの運用が必要な場合に適しています。この記事の価格では、1日18時間生成に使用すれば元が取れます。

ハードウェアを購入する前にAPIを試せますか?

はい。新規ユーザーはカードなしで$0.50のトライアルクレジットを取得でき、実際のプロンプトを実行して品質とコストを確認できます。

uncensoredlocalllm.com

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。