🧠 AIモデルに必要なVRAMの計算

📖 AIモデルに必要なVRAMの計算の使い方と解説

ローカル環境でLLM（大規模言語モデル）を動かそうとするとき、「7BのモデルにはVRAM何GBのGPUが必要か」は機材選びの最初の関門になります。このツールはモデルのパラメータ数(B=十億単位)と量子化のビット数(bytes)を入れるだけで、必要なVRAM容量の目安を計算します。fp16・int8・int4など量子化方式ごとの比較も同時に確認できます。

入力項目と操作の手順

• パラメータ数に、動かしたいモデルのパラメータ数(B単位、例：7B・13B)を入力します。
• 1パラメータあたりのバイト数に、使用する量子化のバイト数を入力します（fp16=2、int8=1、int4=0.5が目安）。
• 結果に推論オーバーヘッドを含めた必要VRAM容量が表示されます。
• 比較欄でint4量子化とfp16での必要量の違いを確認できます。

計算式と、数値の決まり方

計算式は必要VRAM(GB)＝パラメータ数(B)×1パラメータあたりのバイト数×1.2です。1.2倍は推論時に必要なコンテキストやキャッシュ分のオーバーヘッドを見込んだ係数です。

計算例①：7Bモデル・fp16(2byte)
7×2×1.2＝16.8GB。
計算例②：7Bモデル・int4(0.5byte)
7×0.5×1.2＝4.2GB。

パラメータ数と1パラメータあたりのバイト数で変わる必要なVRAM容量の目安一覧

初期値の周辺で、パラメータ数（縦）と1パラメータあたりのバイト数（横）の2つを変えたときに必要なVRAM容量がどう動くかを並べたものです。数値はこのページの計算式で実際に算出しています。

値は本ページの計算式で算出した目安です。実際の条件によって変わりますので、細かい条件は上の計算機に自分の数字を入れて確かめてください。

よく寄せられる質問

Q. int4量子化は精度が落ちませんか？
A. 量子化によって元のモデルより出力精度が下がる可能性がありますが、VRAM使用量を大きく抑えられるため、限られたGPUで動かす際によく使われます。

Q. コンテキスト長を長くすると必要VRAMは増えますか？
A. はい。長いコンテキストを扱うほどキャッシュ用のメモリが追加で必要になるため、この計算のオーバーヘッド分より多く見込む必要があります。

Q. 複数GPUに分散する場合はどう考えればいいですか？
A. このツールで算出した必要VRAM容量の合計を、使用するGPUの合計VRAM容量でカバーできるかを確認する目安として利用してください。

押さえておきたいポイント

• 手持ちのGPUのVRAM容量ぎりぎりで運用すると、他のアプリとの併用時にメモリ不足になりやすいため、余裕を持った容量を確保すると安心です。
• CPUオフロードに対応したツールを使えば、VRAMが不足する場合でも一部をシステムメモリで補って動かせることがあります。
• 同じパラメータ数でもモデルのアーキテクチャによって実際の必要VRAMは変わるため、公開されている実測値も参考にすると確実です。
• この計算は概算です。実際の必要VRAMは推論エンジンの実装やバッチサイズ、コンテキスト長によって変わるため、事前に小規模なテストでの確認をおすすめします。