FLOPS与GOPS:各平台及神经网络算力算量调研

版权声明:转载注明出处:邢翔瑞的技术博客https://blog.csdn.net/weixin_36474809 https://blog.csdn.net/weixin_36474809/article/details/85675504

目录

一、GOPS与FLOPS

1.1 FLOPS

FLOPS定义

FLOPS换算

前标的十进制与二进制

显卡FLOPS值

1.2 GOPS

1.3 FLOP与GOPS之间的换算

二、常规神经网络算力

2.1 AlexNet

2.2 ResNet-152

2.3 EIE算力

2.4 一些层的算力

 三、FPGA平台上算力评估

3.1 zynqNet算力评估

3.2 MTCNN算量


一、GOPS与FLOPS

1.1 FLOPS

FLOPS定义

是“每秒所执行的浮点运算次数”(floating-point operations per second)的缩写。它常被用来估算电脑的执行效能,尤其是在使用到大量浮点运算的科学计算领域中。正因为FLOPS字尾的那个S,代表秒,而不是复数,所以不能省略掉。

在这里所谓的“浮点运算”,实际上包括了所有涉及小数的运算。这类运算在某类应用软件中常常出现,而它们也比整数运算更花时间。现今大部分的处理器中,都有一个专门用来处理浮点运算的“浮点运算器”(FPU)。也因此FLOPS所量测的,实际上就是FPU的执行速度。而最常用来测量FLOPS的基准程式(benchmark)之一,就是Linpack

FLOPS换算

一个MFLOPS(megaFLOPS)等于每秒一百万(=10^6)次的浮点运算

一个GFLOPS(gigaFLOPS)等于每秒十亿(=10^9)次的浮点运算,

一个TFLOPS(teraFLOPS)等于每秒一万亿(=10^12)次的浮点运算,(1太拉)

一个PFLOPSpetaFLOPS)等于每秒一千万亿(=10^15)次的浮点运算,

前标的十进制与二进制

此处存在疑问,从M到G再到T,到底是1024近似为1000,还是采用二进制的乘以1024,还是确实为十进制的1000

倾向于FLOP的前标与内存一样,是以二进制算,每进一级是1024为单位的。

但是1024^3是1073741824,可以近似为10^9。所以采用10^3来近似1024问题不大。

显卡FLOPS值

显卡根据价格算力从0.7TFLOPS/s到10TFLOPS/s不等。

1.2 GOPS

OPS与FLOPS类似,只不过OPS一个是操作次数,FLOPS一个是浮点操作次数。

1.3 FLOP与GOPS之间的换算

(FLOP与GOPS之间的换算需要查相关资料,后续查找资料给出)

不确定的看法是OPS是操作数量,FLOPS为浮点操作数量,两者可近似于相等,FLOPS比OPS稍大。

二、常规神经网络算力

据韩松毕业论文EFFICIENT METHODS AND HARDWARE FOR DEEP LEARNING  P15

2.1 AlexNet

对于AlexNet处理224*224的图像,需要1.4GOPS

2.2 ResNet-152

对于224*224的图像,ResNet-152需要22.6GOPS

例如对于 1080p图像(像素点个数1920*1280) 的8路 帧率为30FPS的图像。

22.6GOPS*30FPS*8路*(1920*1280/224^2)=265Teraop/sec

这个数量级为30张高端显卡。

2.3 EIE算力

EIE在稀疏网络上可达102GOPS/s,相当于同等级非稀疏网络的1TGOPS/s

2.4 一些层的算力

注意这里是剪枝后的FLOP,之前的FLOP可能要乘以12

这里不懂为什么韩松不把原来的FLOP值贴出来而是只贴剪枝后的FLOP

 Table 3.6: Pruning GoogleNet reduces the number of weights by 3.5x and computation by 5x.

 三、FPGA平台上算力评估

3.1 zynqNet算力评估

拆分为卷积的MACC操作的次数152,731,648 ,为10^8数量级(0.1G),7z035平台上时间约为2s

假定MACC操作9乘法8加法,算作17FLOP,zynqNet总算量2,596,438,016 FLOP,即2.59GFLOPS

算力1.3GFLOPS/s(韩松EIE为102GOPS/s)

3.2 MTCNN算量

MACC次数为85,176,568次到43,543,288次不等,10^7数量级(10M),每帧运算量0.74GOPS或1.448GOPS

按照zynqNet的算力约 0.9-1.75FPS

猜你喜欢

转载自blog.csdn.net/weixin_36474809/article/details/85675504