为什么LeNet5网络倒数第二个全连接层维度为84?

https://www.toutiao.com/a6703703460887396871/

相信大家也都知道LeNet5这个经典的卷积神经网络,它有3个全连接层,输出维度分别是120,84,10,不知道大家知不知道为什么倒数第2个全连接层的维度是84呢?

LeNet5的网络结构如下。

「AI-1000问」为什么LeNet5网络倒数第二个全连接层维度为84?

作为一个用于手写数字识别的网络,它的最后输出是1*10的向量,而倒数第2层却不是我们熟悉的4096,1024,512这样的2的指数次幂的维度,而是84,那这是为什么呢。

解答:因为在计算机中字符的编码是ASCII编码,这些图是用7*12大小的位图表示的,也就是高宽比为7:12,如下图,选择这个大小可以用于对每一个像素点的值进行估计。

「AI-1000问」为什么LeNet5网络倒数第二个全连接层维度为84?

就这么简单,不过既然来了就多说两句吧。

上图显示了ASCII中的96个可打印字符,其中32是空格,不可见。

另外0~31以及127是控制字符/通信字符,控制字符如:LF(换行)、CR(回车)、DEL(删除)等;通信字符如:SOH(文头)、EOT(文尾)、ACK(确认)等,这两类字符是不可打印的。

思考

是不是很粗暴的设定,居然跟位图的大小有关。通常我们现在设定全连接层的维度都会是2的指数次幂或者最终分类数,不知道你有没有见过一些其他的设定?不妨留言交流。

猜你喜欢

转载自blog.csdn.net/weixin_42137700/article/details/92803113