深度学习算法/模型——总章

深度学习看似简单，而且有很多现成的模型和封装好的 API，再加上 Google 的免费 GPU 使得跑个深度学习并不存在什么问题。但是，当需要自己设计一个网络时才发现不知如何下手（Flatten or GlobalAveragePooling2D？要几层卷积几层池化如何组合？），当需要用到的时候才发现很多概念似是而非，并没有理解清楚（人工神经元到底是如何模拟人类神经元的？卷积又是如何模拟人类视皮层的？），而且模型里面的参数可以用琳琅满目来形容（学习率和batch size 等如何设置？），再加上很多时候并不能直观地去解释一些参数变动而导致结果产生的变化，所有的一切，无不说明这一切简单的背后需要的是扎实的理论基础，同样需要的也是理解事物本质的一颗心。

神经网络主要有三个部分组成, 分别为:

• 网络结构— 描述神经元的层次与连接神经元的结构.
• 激活函数(激励函数)— 用于加入非线性的因素, 解决线性模型所不能解决的问题.
• 参数学习方法的选择(一般为权重值W和偏置项b)—如BP算法等.

下面大概主要将从这几个方面进行讲述。

0. 前篇：起源

• 神经网络的起源和发展

1. 深度学习介绍

1.1 基础概念

• 深度学习基础

1.2 模型简介

• 卷积基础和常用卷积模型

2. 深度学习模型

2.1 基础模型

理论：

• Keras 深度学习攻略两篇（1）：十种卷积神经网络（CNN）框架——总结与可视化分析

实操记录：

• Keras 深度学习攻略两篇（2）：迁移神经网络的实际使用

2.2 进阶模型

3. 激活函数和参数学习

4. 自己总结（后期单独拿出去）

结构灵感来源：一位博客园学长

从神经网络(NN)到卷积神经网络(CNN)

• 卷积神经网络CNN总结：从神经网络到卷积神经网络（CNN）

从 LeNet 到 DenseNet

• CNN网络架构演进：从LeNet到DenseNet

如何自己根据自己的需要快速构建 例如 vgg、Inception模块的网络

• How to Develop VGG, Inception and ResNet Modules from Scratch in Keras

还有图像处理等等知识。。

参考：

1. 结构：《神经网络与深度学习》-邱锡鹏
2. Deep Learning（深度学习）学习笔记整理系列
3. 《图解深度学习》
4. 深度学习之卷积神经网络(Convolutional Neural Networks, CNN)