版权声明：转载请注明出处网址 ：） https://blog.csdn.net/qq_36810398/article/details/88995155
整理自 《Hands On ML》——chapter 11
DNN有很多参数可以调节， 如何选择各种参数的设置是个难题。
（1）Table 11-2在很多问题中表现都很好。
表中的参数有时候需要调节：
（a）如果找不到合适的learning rate（太小收敛太慢；太大不够准确），可以尝试指数衰减（exponential decay）的learning schedule。
（b）如果训练集太小了，可以尝试data augmentation。
（c）如果需要一个稀疏模型，可以增加L1正则化项（也可以训练之后把小权重置为0）。如果需要更稀疏的模型，可以尝试用FTRL代替Adam优化算子，同时用L1正则化项。
（d）如果需要运行快速的模型，可能需要放弃Batch Normalization，用leaky RELU代替ELU。用稀疏模型也可以提高运行速度。
（2）当已经有解决类似问题的模型，可以部分利用训练好的模型（迁移学习）。