一个INT8参数需要1个字节

1B(十亿)参数需要多少？

看到以上问题，你可能大致明白怎么算了。

1G显存=1024MB=1024²KB=1024³Byte=1,073,741,824Byte

1B参数需要字节数=10亿参数*每参数1Byte=10亿byte

那么1B参数所需显存=1B参数需要字节数/1G显存=10亿byte➗1,073,741,824=0.9313225G

结论：所以1B参数大概需要1G显存。

但是1B参数可以有很多精度。

float32(fp32)需要4字节

fp16/bf16需要2字节

int8需要1个字节

int4需要0.5个字节

结论得出1B模型所需显存大小（预测）：

精度	所需存大小
float32(fp32)	4G
fp16/bf16	2G
int8	1G
int4	0.5G

突🐔检查：

8B int4模型所需大小：8G*0.5G=4G