这是算法工程师面试知识点总结的第四篇，有兴趣的朋友可以看看前三篇的内容：
深度学习算法工程师面试知识点总结（一）
深度学习算法工程师面试知识点总结（二）
深度学习算法工程师面试知识点总结（三）
基于tensorflow lite的Windows端模型部署：
手把手教你实现Tensorflow Lite动态库编译（适用于Windows端模型部署）
基于Tensorflow Lite的CIFAR10图像分类模型部署
基于TensorFlow的验证码识别模型训练及预测
对部署熟悉之后就不用担心招聘要求中的工程应用，落地部署的经验了。
添加微信study428，进入微信群，有问题可以及时交流沟通；
关注公众号”计算机视觉与OpenCV“，硬货知识常分享；
加入QQ群”187042448“获取深度学习相关的资料。
笔记内容分享如下
23、FCN把CNN网络的全连接都换成卷积，这样就可以获得一张2维的feature map，后接softmax获得每个像素点的分类信息，从而解决了分割问题。
24、损失函数主要分为两大类:分类损失和回归损失
回归损失:
●均方误差(MSE二次损失L2损失)它是我们的目标变量与预测值变量差值平方。
●平均绝对误差(MAE L1损失)它是我们的目标变量与预测值变量差值绝对值。
分类损失:
●交叉熵损失函数：交叉熵损失函数是目前神经网络中最常用的分类目标损失函数。
●合页损失函数：合页损失函数广泛在支持向量机中使用，有时也会在损失函数中使用。缺点：合页损失函数对错误越大的样本施以更严重的惩罚，这样会导致损失函数对噪声敏感。
25、训练样本少的情况可以使用预训练模型。
数据集太少，数据集没有局部相关特性的情况不适合使用深度学习的方法。目前深度学习表现比较好的领域主要是图像/语音/自然语言处理等领域，这些领域的一个共性是局部相关性。
26、权值初始化的方法主要有：常量初始化(constant)、高斯分布初始化(gaussian)、 positive_ unitball 初始化、均匀分布初始化(uniform)、xavier 初始化、msra 初始化、双线性初始化(bilinear)。
27、梯度消失与梯度爆炸：对激活函数进行求导，如果此部分大于1，那么层数增多的时候，最终的求出的梯度更新将以指数形式增加，即发生梯度爆炸，如果此部分小于1，那么随着层数增多，求出的梯度更新信息将会以指数形式衰减，即发生了梯度消失。
28、batchnorm计算步骤：求批量数据的均值和方差，对输入数据做归一化，引入缩放因子γ和平移变量β计算归一化之后的值。
29、通常可以将超参数分为三类:网络参数、优化参数、正则化参数。
网络参数：可指网络层与层之间的交互方式（相加、相乘或者串接等）、卷积核数量和卷积核尺寸、 网络层数（也称深度）和激活函数等。
优化参数: 一般指学习率(learning rate)、批样本数量(batch size)、不同优化器的参数以及部分损失函数的可调参数。
正则化：权重衰减系数，丢弃法比率（dropout）。
学习率的设置最重要（初始0.001~0.01左右，后用指数衰减），损失函数的可调参数建议参考论文的值，其次是批样本数量（1-1024），权重衰减系数（1e-4）和优化器的参数可以参考使用默认值就能达到很好的效果。
30、目前自动化超参数搜索主要包含网格搜索（超参数数量少的情况下，列出超参数集合，并进行组合，计算量指数上升），随机搜索（定义一个分布函数随机生成超参数），基于模型的超参优化（最常见的就是贝叶斯超参优化）。
31、异构计算就是结合了两个或者多个不同的计算平台，并进行协同运算，如CPU和GPU的异构计算。
GPU选型：GTX 1080 Ti
最后分享一本适合于深度学习入门和找工作的实战类书籍**《深度学习计算机视觉实战》**，该书由刘东研究员和肖铃合作完成，由电子工业出版社出版。
该书从算法导读到模型训练，到模型部署一站式搞定，书中案例注释详细，均已通过运行验证。该书包括4个部分：
第一部分（1~2章）深度学习和计算机视觉的基础和算法讲解；
第二部分（3~6章）传统图像处理算法的案例讲解；
第三部分（7-11章）计算机视觉方向的案例讲解；
第四部分（12~13章）Tensorflow Lite讲解（源码分析、模型优化、模型转换等）以及使用Tensorflow Lite在PC端和移动端的部署案例讲解。
本书可以为计算机视觉入门的读者和想要对模型进行工程部署的读者提供参考与帮助。
京东链接：https://u.jd.com/rwk3HPT
