パラメータ数と量子化ビット数から必要VRAMを算出
計算結果は一般的な目安です。実際の条件・規格により異なる場合があります。
ローカル環境でLLM（大規模言語モデル）を動かそうとするとき、「7BのモデルにはVRAM何GBのGPUが必要か」は機材選びの最初の関門になります。このツールはモデルのパラメータ数(B=十億単位)と量子化のビット数(bytes)を入れるだけで、必要なVRAM容量の目安を計算します。fp16・int8・int4など量子化方式ごとの比較も同時に確認できます。
計算式は必要VRAM(GB)＝パラメータ数(B)×1パラメータあたりのバイト数×1.2です。1.2倍は推論時に必要なコンテキストやキャッシュ分のオーバーヘッドを見込んだ係数です。
計算例①：7Bモデル・fp16(2byte)
7×2×1.2＝16.8GB。
計算例②：7Bモデル・int4(0.5byte)
7×0.5×1.2＝4.2GB。
Q. int4量子化は精度が落ちませんか？
A. 量子化によって元のモデルより出力精度が下がる可能性がありますが、VRAM使用量を大きく抑えられるため、限られたGPUで動かす際によく使われます。
Q. コンテキスト長を長くすると必要VRAMは増えますか？
A. はい。長いコンテキストを扱うほどキャッシュ用のメモリが追加で必要になるため、この計算のオーバーヘッド分より多く見込む必要があります。
Q. 複数GPUに分散する場合はどう考えればいいですか？
A. このツールで算出した必要VRAM容量の合計を、使用するGPUの合計VRAM容量でカバーできるかを確認する目安として利用してください。